Laporan Panduan Monitoring Dan Evaluasi

Panduan Monitoring dan Evaluasi

Riset Unggulan Terpadu

Panduan Monitoring dan Evaluasi RUT 1

1. Latar Belakang

Dari seluruh aspek yang tergolong dalam manajemen riset, monitoring dan

evaluasi adalah satu-satunya aspek yang belum terimplementasikan secara baik,

tepat dan berkesinambungan. Disamping indikator kinerja yang diperlukan sukar

ditemukan. Kalaupun ditemukan, masih sukar untuk diukur, dibebani lagi oleh

ketidakcukupan dana pendukung, maka aktivitas tersebut acapkali tidak

dilaksanakan secara disiplin dan konsekuen. Faktor lain yang turut mereduksi nilai

pelaksanaan monitoring dan evaluasi adalah tumpang tindihnya berbagai program

riset di Indonesia. Sebagaimana telah diketahui bahwa Direktorat Pembinaan

Penelitian dan Pengabdian pada Masyarakat, Ditbinlitabmas Ditjen Dikti

mengalokasikan sejumlah dana riset untuk membiayai beragam program riset bagi

perguruan tinggi. Program tersebut adalah Penelitian Dosen Muda, PDM yang

dahulu dikenal sebagai Berbagai Bidang Ilmu, BBI, Penelitian Hibah Bersaing,

PHB; Penelitian Dasar, PD; Penelitian Hibah Tim, PHBT; Penelitian Doktor

Baru, PDB; Domestic Collaborative Research Grant, DCRG; Studi Lingkungan; Kajian

Wanita dan lain-lain. Setiap program membawa misi yang berbeda-beda,

karenanya alokasi biayanyapun beragam. Ada program riset yang membawa misi

menciptakan nuansa, iklim dan keterampilan riset di perguruan tinggi (PDM),

riset-riset yang berorientasi kepada eksplorasi fenomena alam semesta dan

pemantapan platform riset suatu bidang studi (PD, PHT, PDB, Kajian Wanita,

DCRG, dll), ada yang berorientasi pada pemenuhan kebutuhan industri (PHB). Di

lain pihak Kantor Menteri Negara Riset dan Teknologi, KMNRT pun

mempunyai program riset berskala nasional, yaitu Riset Unggulan Terpadu, RUT;

Riset Unggulan Kemitraan, RUK; Riset Unggulan Kemasyarakatan dan

Kemanusiaan, RUKK; dan Riset Pembinaan Iptek Kedokteran, Risbiniptekdok;

dengan misi yang juga berbeda. Jika program riset Ditbinlitabmas hanya

mengijinkan dosen perguruan tinggi yang berpartisipasi aktif, maka dana KMNRT

disamping perguruan tinggi juga LPND, Litbang Departemen, LD dapat turut

bersaing memperebutkan biaya riset yang dialokasikan.

Hibah riset yang berasal dari luar negeri seperti Asahi Glass Foundation, Toray

Foundation, Toyota Foundation, Sumitomo Foundation, dan lain-lain melengkapi sumber

2 Panduan Monitoring dan Evaluasi RUT

dana riset yang telah diuraikan sebelumnya. Riset semacam ini pada umumnya

terbatas. Batasan tersebut pada umumnya diterapkan pada bidang-bidang ilmu

tertentu sehingga kelompok peneliti yang eligible untuk berpartisipasi, juga

terbatas. Batasan semacam itu, bahkan dalam konteks bidang ilmu dapat

dikatakan cukup ekstrim berlaku bagi program ARM yang khusus diperuntukkan

bagi peneliti bidang pertanian; RUKK bagi bidang sosial dan humaniora;

Risbiniptekdok, bagi bidang kedokteran, dll.

Sementara itu, setiap perguruan tinggi juga mengalokasikan sejumlah dana

riset bagi dosen-dosennya. Pada umumnya jumlahnya terbatas untuk menciptakan

nuansa dan adaptasi riset bagi dosen mudanya. Industri pun meskipun dalam

skala yang masih kecil, telah turut berperan serta dalam program riset perguruan

tinggi. Demikian pula litbang-litbang yang departemennya mampu menggalang

dana semacam dana reboisasi telah mengalokasikan sebagian dananya bagi

program riset di lingkungannya.

Hasil studi yang telah dilakukan baik oleh KMNRT maupun Ditjen Dikti

menunjukkan bahwa pola monitoring dan evaluasi berlangsung secara sentralistik.

Institusi atau lembaga pelaksana riset lebih mengandalkan institusi penyandang

dana riset untuk melaksanakan monitoring sekaligus evaluasi. Jadi, asas

desentralisasi belum sepenuhnya dipahami. Disamping itu, tim pemantau yang

diharapkan dapat sekaligus bertindak sebagai peer reviewer tidak dapat terpenuhi,

olehkarena substansi riset seringkali tidak serasi dengan kepakaran tim yang

jumlahnya terbatas. Akibatnya, alokasi dana yang tersedia pada umumnya hanya

memungkinkan aktivitas monitoring dan evaluasi menyentuh sisi administrasi

riset, namun belum sisi substansinya. Apalagi jika monitoring dan evaluasi

dimaksimalkan dengan mencakup sisi manfaat dan dampak riset itu sendiri. Dapat

dibayangkan, bagaimana sebenarnya profil monitoring dan evaluasi riset di

Indonesia saat ini, jika baru dari dua sumber dana (Ditjen Dikti dan KMNRT)

implementasi aspek tersebut tidak optimal. Patut pula diperhatikan bahwa

aktivitas riset di banyak lembaga riset Indonesia tidak hanya mengenal dan

memanfaatkan kedua sumber dana tersebut, melainkan juga dari departemen

teknis atau non departemen lainnya. Olehkarena itu, dipandang perlu untuk

merumuskan kebijakan yang berkaitan dengan peningkatan produktivitas, efisiensi


dan mekanisme monitoring dan evaluasi lembaga riptek serta melaksanakan

evaluasi kinerja lembaga yang dinilai mempunyai posisi strategis dalam

mengupayakan tingginya efisiensi dan nilai yang diperoleh dari aktivitas

monitoring dan evaluasi riset di Indonesia.

Sejak tahun 1993 dan tahun-tahun setelahnya, KMNRT telah

memperkenalkan berbagai program riset unggulan dan strategis, antara lain RUT,

RUK, RUKK dan RUSNAS. Sebagai institusi fungsional, KMNRT tidak berada

pada posisi untuk melaksanakan program-program tersebut secara operasional.

Implementasi program-program riset termaksud dilaksanakan oleh LPND yang

berada di bawah koordinasinya, seperti LIPI dan BPPT. KMNRT lebih

diposisikan sebagai perencana dan pengawas program. Olehkarena itu, di dalam

buku panduan ini diuraikan sistem dan mekanisme monev yang berlaku untuk

setiap program KMNRT dan model monev khusus untuk RUT. Dengan

demikian, masih perlu disusun suatu model monev lain untuk RUK, RUKK dan

RUSNAS, karena program-program tersebut membawa misi yang berlainan.

Otonomi Daerah yang mulai diberlakukan sejak bulan Januari 2001 dan

didirikannya Dewan Riset Daerah (DRD) serta institusi sejenis dengan nama lain

di banyak propinsi, menjadi parameter lain dalam menetapkan pola atau

mekanisme monitoring dan evaluasi riset. Beberapa alternatif dapat dilakukan

misalnya mendesentralisasikan pengelolaan basis data riset dari KMNRT ke

DRD. KMNRT mengakses situs web DRD untuk memantau kegiatan dan produk

riset di setiap propinsi.


2. Tujuan

Buku panduan monitoring dan evaluasi yang diterbitkan KMNRT ini

ditujukan bagi terealisasikannya sistem serupa di setiap unit riset. Jadi tidak hanya

menjadi kewajiban bagi penyandang dana untuk melakukan swakarya, tetapi harus

merupakan budaya dan kewajiban unit riset itu sendiri dan suprastruktur

pengelola di lembaganya yang lebih tinggi. Meskipun disadari dalam skala dan

karakter unit riset tertentu, buku panduan ini belum dapat diterapkan, namun

harapan agar kegiatan monitoring dan evaluasi disadari sebagai bagian dari

kewajiban suatu unit riset, setidak-tidaknya dapat terpenuhi.


3. Pengertian

Unit Riset adalah unit dimana sekelompok peneliti melakukan penelitiannya

dan memiliki 4 (empat) kriteria berikut, yaitu (1) melakukan

manajemen riset, (2) mempunyai sumber daya riset, (3) mempunyai

kebijakan riset atau mengaplikasikan temuannya, dan (4)

mempunyai program riset. Di dalam unit riset terdapat seorang

pemimpin sedangkan lainnya adalah anggota unit. Sebagai contoh

unit riset antara lain: laboratorium, kelompok bidang keahlian,

Unit Pelaksana Teknis, UPT; balai penelitian, pusat penelitian,

pusat antar universitas, bidang dan sejenisnya.

Monitoring adalah suatu kegiatan observasi yang berlangsung terus menerus

untuk memastikan dan mengendalikan keserasian pelaksanaan

program dengan perencanaan yang telah ditetapkan.

Evaluasi adalah suatu teknik penilaian kualitas program yang dilakukan

secara berkala melalui metode yang tepat.

Pada hakekatnya evaluasi diyakini sangat berperan dalam upaya

meningkatkan kualitas operasional suatu program dan berkontribusi penting

dalam memandu pembuat kebijakan di seluruh strata organisasi. Dengan

menyusun, mendesain evaluasi yang baik dan menganalisis hasilnya dengan tajam,

kegiatan evaluasi dapat memberi gambaran tentang bagaimana kualitas

operasional program, layanan, kekuatan dan kelemahan yang ada, efektivitas biaya

dan arah produktif potensial masa depan. Dengan menyediakan informasi yang

relevan untuk pembuat kebijakan, evaluasi dapat membantu menata seperangkat

prioritas, mengarahkan alokasi sumber dana, memfasilitasi modifikasi dan

penajaman struktur program dan aktivitas serta memberi sinyal akan kebijakan

penataan ulang personil dan sumber daya yang dimiliki. Disamping itu, evaluasi

dapat dimanfaatkan untuk menilai dan meningkatkan kualitas serta kebijakan

program.

Ilustrasi tentang peran evaluasi dalam meningkatkan kualitas dan kebijakan

program dilukiskan secara sederhana seperti tampak pada Gambar 1. Model


tersebut menunjukkan interaksi antara formulasi dengan implementasi kebijakan

dan pelaksanaan program serta ketetapan atau keputusan dan evaluasi tentang

kualitas program. Pada lingkaran ganda pertama, yang merupakan tingkat paling

sederhana, kebijakan program diformulasikan untuk memandu dan menetapkan

arah pelaksanaan program. Akan tetapi, karena operasionalisasi program

merupakan sasaran interpretasi suatu kebijakan, dan berkorelasi erat dengan

kemampuan adaptasi individual, maka pelaksanaan program bukanlah suatu

cerminan akurat dari suatu pedoman kebijakan. Olehkarena itu, kebijakan dan

pelaksanaan program selanjutnya dikombinasikan untuk menghasilkan kualitas

aktual program (atau kualitas operasional organisasi). Melalui proses evaluasilah

suatu kualitas program dinilai. Hal ini dapat dilakukan baik melalui proses yang

bersifat kualitatif maupun kuantitatif. Meskipun harus diakui pula bahwa masing-

masing pola tersebut hanya mampu menetapkan sebagian dari total kualitas

pelaksanaan program dan dampaknya. Setelah melalui fase penilaian – sesuai

lingkaran ganda kedua – dari serangkaian proses evaluasi dilakukan pengambilan

keputusan tentang sebaik apa kualitas kebijakan dan pelaksanaan programnya.

Untuk itu diperlukan model evaluasi yang tepat, indikator kinerja dan besarannya

yang disepakati, tujuan atau obyektif yang jelas dan standar yang diterapkan serta

luasnya rentang nilai faktor-faktor yang lain. Dengan demikian akan diperoleh

keputusan tentang nilai kualitas integratif (lingkaran ganda ketiga).

Tergantung pada hasil evaluasi yang diperoleh dilakukan pengambilan

keputusan. Langkah berikutnya adalah menerapkan keputusan yang telah

ditetapkan dengan melanjutkan atau mengubah kebijakan yang ada,

mengeliminasi, meluaskan atau memodifikasi operasi pelaksanaan program.

Model evaluasi secara sengaja digambarkan dalam bentuk lingkaran dengan

maksud untuk mengindikasikan bahwa proses tersebut tidak berlangsung diskret

apalagi linier.

Sudut pandang model di atas, dinilai telah berkorespondensi dengan

pandangan tradisional tentang peran evaluasi dalam pengembangan suatu

program. Dilihat dari sudut yang lain, sebagai contoh, evaluasi kualitas yang telah

dibuktikan atau yang belum dibuktikan kebenarannya dapat mengantarkan kepada

penilaian yang mengidentifikasi adanya kebutuhan untuk intervensi baru ke dalam

kebijakan dan pelaksanaannya. Jadi peran penilaian dalam hal ini adalah untuk

memenuhi kebutuhan suatu evaluasi. Olehkarena itu, intervensi baru -- yang

dapat berupa kebijakan, strategi, dll -- seyogyanya dinilai dan dievaluasi setelah

diimplementasikan serta menjadi subyek atau acuan untuk dilanjutkan atau

dimodifikasinya suatu aksi.


Perubahan konteks sosial − S− P− S

Kebijakan Program

Pelaksanaan Program 3

Keputusan Terintegrasi

tentang Kualitas

Standar

yang disepakati

Kualitas Program

Penilaian Kualitas

1

2

osial olitik

umber daya

− Sosial − Politik − Sumber daya

Gambar 1. Model Proses Peningkatan Kualitas


4. Sistem MONEV KMNRT

Melaksanakan evaluasi kinerja lembaga riset yang memiliki berbagai

karakter, misi dan pola pendanaan risetnya, menuntut taktik dan strategi yang

tepat dan operasional. Kondisi semacam itu dipicu dengan kebijakan Menegristek

tentang ruang lingkup operasional KMNRT yang berskala nasional.

Olehkarenanya, meskipun KMNRT berfungsi sebagai koordinator 7 (tujuh)

LPND, namun kebijakan tersebut memberi konsekuensi meluasnya liputan

monev ke lembaga atau institusi bahkan unit riset yang ada di seluruh Indonesia.

Sebagaimana telah diketahui bahwa aspek pengawasan, controlling, meliputi

monitoring, evaluasi dan auditing. Untuk melaksanakan fungsi evaluasi kinerja

lembaga, Deputi Bidang Program Riptek, KMNRT membatasi pengawasannya

dalam kedua hal yang disebutkan lebih awal, yaitu monitoring dan evaluasi.

Fungsi auditing tetap sepenuhnya diserahkan kepada pihak badan pengawas

pemerintah yang lebih berwenang, seperti Inspektorat, Irjen, BPKP dan BPK.

Setelah melalui berbagai pertimbangan, sistem monev KMNRT ditetapkan

seperti tampak pada Gambar 2. Pada gambar tersebut dilukiskan mekanisme

evaluasi kinerja lembaga yang secara garis besarnya melibatkan empat pelaku

utama, yaitu:

1. Pihak pelaksana monev KMNRT sendiri, yang dalam hal ini adalah

Asdep 4/III Evaluasi Kinerja Lembaga;

2. Penentu kebijakan dan program riset nasional, yang dalam hal ini

terdiri dari para Staf Ahli, Deputi Menegristek dengan mempertim-

bangkan saran atau rekomendasi Dewan Riset Nasional;

3. Pihak perencana anggaran nasional, yang terdiri dari unsur Direktorat

Jenderal Anggaran, Departemen Keuangan dan Bappenas;

4. Pihak pelaksana riset, yakni lembaga riset yang dikelompokkan ke

dalam LPND, Litbang Departemen, Perguruan Tinggi, BUMN dan

pusat-pusat studi.

Keempat pelaku monev tersebut seyogyanya merupakan komponen dinamis dari

satu rangkaian siklus kegiatan yang berkesinambungan. Masing-masing pelaku

memegang peranan penting dalam proses kelancaran, efektivitas, berbasis

monitoring dan evaluasi riset di Indonesia.

Masukan, input − visi, misi − renstra, rencana aksi − kebijaksanaan − peraturan − sumber daya

Proses, process interaksi − antar periset − periset-pimpinan atmosfer riset; efisiensi; manajemen konflik Keluaran, output produktivitas − artikel saintifik − buku − paten − prototipe − desain − dll.

Hasil, outcome − aspek komersialisasi − aspek internalisasi − return on investment Dampak, impact Pengaruh positif dan/atau negatif terhadap − lingkungan internal − lingkungan eksternal

Manfaat, benefit − relevansi − efektivitas

LPND

PUSAT STUDI

INDUSTRI

PT

LD

DPR

Bappenas

DJA

Deputi Staf Ahli

KMNRT

Asdep Evaluasi Kinerja

• Profil Kinerja Lembaga

• Profil Sumber- daya Riset Lembaga

• Program Baru Riset Nasional

• Program Baru • Sistem Baru • Panduan

• Jakstra • Punas

Gambar 2. Mekanisme Evaluasi Kinerja Lembaga

KMNRT, dalam hal ini Asdep 4/III menerima informasi dalam bentuk data

kuantitatif tentang sumberdaya, program, manajemen dan kebijakan riset yang

dimiliki lembaga riset (LPND, Litbang Departemen, Perguruan Tinggi, BUMN,

Pusat Studi). Berbasis informasi tersebut, KMNRT mengolah dan



menganalisisnya menjadi profil kinerja riset lembaga, potensi SDM dan fasilitas

masing-masing lembaga riset. Berdasarkan profil tersebut, pimpinan KMNRT

(para Deputi dan Staf Ahli Menegristek) bersama dengan Dewan Riset Nasional

menilai kesesuaian kinerja dengan Jakstra Riptek Nasional dan/atau menyusun

serta menetapkan kebijakan dalam bentuk naskah program, sistem dan panduan

riset baru.

Naskah program dan sistem yang baru selanjutnya dibahas bersama Ditjen

Anggaran (Departemen Keuangan) dan Bappenas untuk memperoleh persetujuan

anggaran dan penetapannya sebagai program riset nasional yang akan dibiayai

oleh pemerintah untuk tahun anggaran berikutnya. Selain Ditjen Anggaran dan

Bappenas, pihak DPR seyogyanya diikutsertakan pada saat pengkajian dan

pembahasan program tersebut. Program-program riset yang telah disetujui

pembiayaannya, kemudian ditawarkan secara terbuka dan kompetitif kepada

seluruh lembaga riset melalui mekanisme penawaran yang atraktif. Didalam kaitannya dengan otonomi daerah, mekanisme serupa juga dapat

dikembangkan di daerah-daerah dalam menyusun program-program riset daerah,

dimana DRD (Dewan Riset Daerah) bersama dengan Bappeda (Badan

Perencanaan Pembangunan Daerah) dan DPRD merumuskan program-program

riset yang spesifik untuk daerah yang bersangkutan.

Pada prinsipnya lembaga-lembaga riset seyogianya melakukan monev

internal dengan cara melakukan self-evaluation atau evaluasi diri, menetapkan

indikator kinerja untuk mengevaluasi kinerja dan potensi diri yang ada pada

masing-masing lembaga. Monev eksternal dilakukan oleh KMNRT melalui pola

tidak langsung, yaitu melalui akses basis data yang teralokasi di setiap lembaga

atau bahkan unit riset. Jika dipandang perlu, KMNRT akan melakukan kunjungan

konsultatif ke unit-unit riset yang menunjukkan kinerja baik dan/atau yang masih

memerlukan dukungan pengembangan.

5. Struktur Data MONEV KMNRT

Berbasis pada pola evaluasi sumatif, KMNRT menata informasi riset dan

teknologi ke dalam struktur data seperti tampak pada Gambar 3 berikut. Hal ini

dilakukan untuk mengefisienkan, mengefektifkan arus informasi, karena pada

dasarnya evaluasi sumatif bertitik pangkal pada basis data iptek di tingkat paling

operasional, yaitu unit riset. KMNRT akan menerbitkan excecutive summary

berdasar hasil ekstraksi dan pengolahan data yang tersaji pada website setiap

lembaga/institusi dan unit riset di seluruh Indonesia. Hal tersebut terlebih dahulu

diintegrasikan ke dalam visi, misi, tugas pokok dan fungsi KMNRT, sebelum

disimpan dalam website. Uraian rinci Sistem Informasi Riset, SIR dan jenis basis

data yang sebaiknya disajikan di Unit Riset (SIR-1) dan informasi yang

ditampilkan pada SIR-2 & 3, dapat disimak dalam Buku “Sistem Informasi Riset”

yang diterbitkan oleh KMNRT, tahun 2001.

Sistem Informasi Riset, SIR - 2

UNIT RISET UNIT RISET UNIT RISET

Lembaga/ Institusi

Sistem Informasi Riset, SIR – 1

Basis Data: Identitas Manajemen Riset Sumberdaya Riset Program Riset Kebijakan Riset

Sistem Informasi Riset, SIR - 3 KMNRT

Gambar 3. Struktur Data MONEV KMNRT

Buku Panduan Monev RUT hanya memuat struktur data monev KMNRT.

Perangkat keras dan lunak yang diinvestasikan, terbatas hanya di lingkungan

KMNRT untuk mendukung kegiatan monev, entry data dan program pengolahan

data. Seluruh sistem informasi yang dibangun terbatas telah dikoneksikan dengan

Ipteknet, agar mempunyai akses pengguna dan nilai kemanfaatan yang lebih luas.



6. Evaluasi Formatif dan Sumatif

Sistem monitoring dan evaluasi KMNRT yang berbasis pada akses data di

unit dan lembaga atau institusi riset lebih cenderung mengikuti pola evaluasi

sumatif. Disamping biayanya murah, evaluasi semacam itu menawarkan efisiensi

paling tinggi. Hasil pengolahan data selanjutnya menjadi basis pertimbangan

KMNRT untuk melakukan kunjungan konsultatif ke unit riset yang atraktif atau

bahkan yang kinerjanya sangat rendah. Kunjungan tersebut dilakukan dalam

rangka klarifikasi, sebagai basis pemikiran penyusunan rekomendasi perubahan-

perubahan atau perbaikan unit riset di masa depan.

6.1. Perbedaan Evaluasi Formatif dan Sumatif

Pada prinsipmya, perbedaan umum dan khusus diantara kedua macam

evaluasi tersebut, masing-masing dapat dilihat pada Tabel 1 dan Tabel 2

berikut ini.

Tabel 1. Perbedaan Evaluasi Formatif dan Sumatif

Evaluasi Formatif Evaluasi Sumatif

− Evaluasi formatif dilakukan untuk membantu perancang program, para manajer dan/atau staf untuk menyempurnakan program yang sedang dikembangkan atau yang sedang berjalan,

− Menuntut perhatian yang cukup untuk memantau implementasi program dan pencapaian tujuan,

− Dalam upaya untuk meningkatkan program, diperlukan pemahaman tentang kemajuan program ke arah pencapaian obyektif sehingga peluang melakukan perubahan dalam komponen program dapat dilakukan,

− Evaluasi sumatif dilakukan untuk membantu sponsor atau institusi berwenang lainnya dalam menentukan keputusan apakah akan melanjutkan program yang dinilai sukses atau apakah akan menghentikannya,

− Tujuan evaluasi sumatif adalah untuk mengoleksi dan menampilkan informasi yang diperlukan dalam mendukung pengambilan kesimpulan dan keputusan tentang program serta nilainya,



− Evaluasi formatif memerlukan waktu lama sebab membutuhkan familiaritas akan banyak aspek program dan melengkapi personil program dengan informasi serta wawasan untuk membantu mereka memperbaikinya,

− Evaluasi formatif tidak perlu dilakukan, jika tidak ada peluang melakukan perubahan untuk suatu perbaikan,

− Hasil evaluasi formatif digunakan untuk merevisi aktivitas, penugasan, organisasi dan komponen lainnya di dalam program.

− Evaluasi dilakukan dengan menggunakan pembanding, yaitu perbandingan hasil perencanaan program dengan tujuan yang ditetapkan oleh desainer program dan detilnya terekam dalam perencanaan program,

− Semakin jelas program dan terukurnya tujuan, konsistensi materi, organisasi dan aktivitas, semakin cocok dilakukannya evaluasi sumatif,

− Hasil evaluasi sumatif digunakan untuk membantu memutuskan apakah suatu program akan dilanjutkan, di-hentikan atau apakah dan bagaimana cara pengembangan atau menghentikannya.

Tabel 2. Perbedaan Khusus antara Evaluasi Formatif dan Sumatif

Evaluasi Formatif Evaluasi Sumatif Sasaran utama − Desainer program

− Manajer program, − Pelaksana program

− Penentu kebijakan − Donatur atau sponsor − Publik yang berminat

Konsentrasi pada saat pengkoleksian data

Klarifikasi tujuan Sifat program - Proses atau implementasi Klarifikasi persoalan - Saat implementasi dan - Kemajuan pada hasil

program Analisis level mikro dari - Implementasi dan - Hasil

Dokumentasi hasil Dokumentasi implemen-tasi Analisis level mikro dari - Implementasi dan - Hasil

Pelaku utama pengembang program dan pelaksana

Kolaborator Penyuplai data

Peran utama evaluator

Interaktif Independen

Metodologi Kualitatif dan kuantitatif dengan lebih ditekankan pada situasi sebelumnya

Kuantitatif, kadangkala diperkaya dengan kualitatif


Evaluasi Formatif Evaluasi Sumatif Frekuensi pengkoleksian data

Monitoring yang sedang berjalan

Terbatas

Mekanisme utama pelaporan

− Diskusi − Interaksi pertemuan

informal

Laporan formal

Frekuensi pelaporan

Berulang-ulang Saat menyimpulkan

Penekanan dalam laporan

− Hubungan diantara unsur proses-level mikro

− Hubungan diantara konteks dan proses

− Hubungan diantara proses dan hasil

− Implikasi untuk pelaksanaan program dan perubahan spesifik saat pelaksanaan

− Hubungan makro antara konteks-proses-hasil

− Implikasi untuk kebijakan, kontrol administratif dan manajemen

Syarat untuk kredibilitas

− Kesepakatan kinerja program dengan pengembang atau pelaksana

− Advokasi atau kepercayaan

Obyektivitas saintifik

6.2. Tahapan Pelaksanaan Evaluasi Formatif dan Sumatif

Untuk mengenali tahapan pekerjaan kedua macam evaluasi tersebut, secara garis besar telah dimuat secara lengkap pada Tabel 3 berikut.

Tabel 3. Ringkasan Tahapan Evaluasi Formatif dan Sumatif

Evaluasi Formatif Evaluasi Sumatif Tahap 1: Tentukan Batas Evaluasi 1.1. Menentukan maksud evaluasi 1.2. Mencari sebanyak mungkin

informasi tentang program 1.3. Merumuskan program 1.4. Memfokuskan evaluasi 1.5. Menegosiasikan peran Anda

Tahap 1: Tentukan Batas Evaluasi 1.1. Menentukan maksud evaluasi 1.2. Menemukan sebanyak mungkin

informasi tentang program dalam bentuk pertanyaan

1.3. Merumuskan program X dan C 1.4. Memfokuskan evaluasi 1.5. Menegosiasikan peran Anda



Tahap 2: Pilih Metode Evaluasi yang Cocok 2.1. Mempertajam perumusan program 2.2. Memastikan anda mengajukan

pertanyaan yang benar 2.3. Menemukan keterangan apa yang

akan dihasilkan dari data yang anda suplai

2.4. Mendesain perencanaan untuk menguji implementasi program

2.5. Mendesain kemajuan sistem monitoring

2.6. Mengkonsolidasikan perhatian anda 2.7. Mengestimasikan biaya evaluasi 2.8. Persetujuan final tentang layanan dan

tanggungjawab

Tahap 2: Pilih Metode Evaluasi yang Cocok 2.1. Pilih pendekatan pengkoleksian data

dan instrumen evaluasi 2.2. Konsolidasikan perhatian anda

kepada instrumen yang cocok 2.3. Rencanakan konstruksi dan

pengadaan instrumen evaluasi 2.4. Rencanakan analisis data yang akan

dihasilkan dari setiap instrumen 2.5. Pilih desain evaluasi 2.6. Pilih contoh strategi untuk

mengkonduksi koleksi data 2.7. Estimasi biaya evaluasi 2.8. Persetujuan final tentang layanan dan

tanggungjawab Tahap 3: Pengumpulan dan Menganalisis Informasi 3.1. Koleksi dan analisis informasi 3.2. Pastikan batas akhir koleksi data 3.3. Tentukan ekspektasi untuk

menginterpretasikan data anda 3.4. Pastikan bahwa perencanaan koleksi

data anda telah diimplementasikan semestinya

3.5. Analisis data untuk peningkatan program

Tahap 3: Pengumpulan dan Menganalisis Informasi 3.1. Pastikan batas akhir 3.2. Siapkan desain evaluasi 3.3. Pengelolaan instrumen, penilaian dan

pencatatan data - mulai menyiapkan instrumen

yang diperlukan - instrumen penilaian sesuai format

hasil yang diharapkan - catat hasil setiap pengukuran

kedalam lembar ringkasan data 3.4. Lakukan analisis

Tahap 4: Penyusunan Laporan 4.1. Pastikan strategi komunikasi 4.2. Bertemu dengan manajer program

dan/atau staf untuk mendiskusikan kelanjutan temuan

4.3. Tinggalkan catatan evaluasi

Tahap 4: Penyusunan Laporan 4.1. Perencanaan laporan 4.2. Pilih metode presentasi 4.3. Set laporan


7. Sistem MONEV RUT

Khusus untuk riset unggulan, dalam hal ini RUT (Riset Unggulan Terpadu),

sistem monitoring dan evaluasi yang dikembangkan di KMNRT tampak seperti

Gambar 4. Gambar tersebut menunjukkan mekanisme pembagian tugas yang

khususnya mengacu kepada manajemen riset seperti: perencanaan, penganggaran,

penawaran, pelaksanaan, monitoring dan evaluasi program. Tampak adanya

empat unsur utama yang saling berhubungan satu sama lain dalam fungsi tertentu,

yaitu:

1. KMNRT, sebagai penanggung jawab program Riset Unggulan Terpadu;

2. Pengelola program RUT dari Lembaga Pemerintah Non Departemen

(LPND) dibawah koordinasi Menegristek, dalam hal ini Lembaga Ilmu

Pengetahuan Indonesia (LIPI);

3. Lembaga/institusi riset seperti LPND, Litbang Departemen, Perguruan

Tinggi, Industri dan pusat-pusat studi yang menjadi payung formal bagi unit

riset;

4. Unit riset yang menaungi peneliti RUT.

Keempat unsur utama di atas saling berkomunikasi dalam konteks sebagai

berikut: KMNRT, dalam hal ini Deputi III Bidang Program Riptek berkewajiban

menyusun kebijakan dan merumuskan misi program RUT berikut program aksi

tahunan serta anggaran belanja yang diperlukan, dengan memperhatikan saran

dan rekomendasi DRN. Khususnya dalam menyusun anggaran belanja tahunan

RUT, KMNRT bekerjasama dan dibantu penuh oleh LIPI, dalam hal ini sebagai

pihak pengelola program RUT berbasis pada hasil pelaksanaan RUT tahun-tahun

sebelumnya dan proyeksi kegiatan satu tahun dimuka. Adanya pelaksanaan RUT

yang telah habis masa risetnya, pelaksana yang dihentikan pelaksanaan riset

sebelum periode waktu risetnya habis dan proyeksi jumlah topik riset baru untuk

satu tahun yang akan datang, serta kegiatan-kegiatan lain seperti administrasi

proyek, penyusunan buku pedoman RUT, monitoring dan evaluasi di lapangan,

studi terkait lainnya, merupakan faktor-faktor berpengaruh terhadap anggaran

belanja tahunan RUT.


Disamping itu, KMNRT setiap tahun berkewajiban melakukan monitoring

dan evaluasi kinerja pengelolaan program RUT baik terhadap pengelola program

(dalam hal ini LIPI) maupun lembaga/institusi riset yang menaungi unit riset dan

pelaksana riset secara formal. Kegiatan monitoring dan evaluasi tersebut

seyogyanya diarahkan baik kepada aspek administrasi serta manajerial, maupun

aspek substantif riset. Olehkarena itu, KMNRT menyusun suatu format khusus

sebagai pendukung kesempurnaan kegiatan tersebut. Khusus bagi unit riset,

KMNRT akan mencermati indikator kinerja manfaat dan dampak produk RUT

yang dihasilkan.

Pengelola RUT, dalam hal ini LIPI berperan aktif dalam menyampaikan

saran perubahan, kondisi aktual pengelolaan dan pelaksanaan RUT pada saat

penyusunan pedoman anggaran belanja tahunan RUT. Dengan dibantu oleh tim

pakar, LIPI melakukan penilaian atas proposal serta monitoring dan evaluasi

pelaksanaan dan hasil riset terhadap aspek substantif. Hasilnya secara lengkap

lebih lanjut diinformasikan kepada KMNRT. LIPI berkewajiban

mensosialisasikan program RUT tahun mendatang ke seluruh lembaga atau

institusi riset nasional dengan mengirimkan buku pedoman RUT tahun

bersangkutan. Disamping itu, LIPI berkewajiban pula melakukan monitoring dan

evaluasi terhadap lembaga/institusi riset secara administratif serta unit riset,

khususnya pelaksana RUT untuk aspek substantif.

Lembaga/institusi riset berkewajiban melakukan koordinasi program RUT

dengan LIPI sebagai pengelola program dalam hal administratif penunjang

implementasi program, misalnya penyusunan dan penandatanganan kontrak

kerjasama penelitian, pencairan termin pembayaran, penyampaian laporan

kemajuan dan laporan akhir penelitian, pengorganisasian kegiatan monitoring dan

evaluasi dan kegiatan administrasi sejenis lainnya.

Unit riset sebagai institusi yang paling bertanggungjawab atas kualitas

kinerja riset diharapkan dapat memposisikan diri dalam kondisi siap dipantau

setiap saat, dan dievaluasi pada saat-saat tertentu, baik oleh KMNRT maupun

LIPI. Olehkarena itu, basis data riset dan kegiatan monitoring evaluasi agar

disusun dan dilakukan secara kontinyu dan obyektif. Disamping itu, unit riset

diharapkan agar selalu berkonsultasi dan berkoordinasi dengan lembaga/institusi

riset yang menaunginya, baik dalam hal mencari informasi program riset terbaru,

perubahan mendasar tentang kebijakan riset nasional, menemukan solusi persoalan

yang dihadapi, bantuan finansial, maupun jasa pendaftaran HaKI.

Gambar 4. Mekanisme MONEV RUT

Implementasi Program, Monitoring dan Evaluasi Substansi Riset

2

1

Pengelola

UR

Lembaga

UR = Unit Riset 1 = Monitoring dan evaluasi kinerja riset, manfaat serta dampak riset. 2 = Monitoring dan evaluasi substansi riset 3 = Perencanaan, penganggaran, pelaksanaan, monitoring dan evaluasi

3

Perencanaan, Penganggaran Program, Monitoring dan Evaluasi Substansi riset serta Kinerja Pengelola

KMNRT

Monitoring dan Evaluasi Kinerja Lembaga

7.1. Proses Monitoring dan Evaluasi RUT

Program Riset Unggulan Terpadu (RUT) adalah program riset yang

dipersaingkan secara terbuka untuk para peneliti utama di lingkungan unit-unit

riset baik artemen, LPND, Industri, maupun

pusat-pus

maka kon

RUT akan

dan penil

riset, sam

yang din

mendapat

seperti tam

setiap taha

18

di Perguruan Tinggi, Litbang Dep

at studi yang ada di Indonesia. Karena sifatnya yang dipersaingkan

sekuensi logisnya, keikutsertaan para peneliti utama dalam program

melalui tahapan-tahapan seleksi. Baik pada tingkat seleksi penerimaan

aian proposal, monitoring dan evaluasi pelaksanaan tahapan-tahapan

pai pada penilaian akhir kualitas hasil riset. Bahkan hasil-hasil riset

ilai berkualitas akan mendapat kesempatan bersaing untuk

kan “award”. Secara lengkap proses tersebut mengikuti diagram alir

pak pada Gambar 5. Adapun contoh basis data yang diperlukan dari

pan proses, seperti tercantum pada lampiran halaman 63.

Panduan Monitoring dan Evaluasi RUT

Dihentikan Pembiayaannya*

Dihentikan

Pembiayaannya*/Dinilai Selesai

Kontrak Kerjasama

Peer Reviewer

Penilaian Laporan Akhir Riset

Laporan Akhir Pelaksanaan Riset

Seminar Evaluasi dan Pembahasan

Pelaksanaan Tahun III


Pelaksanaan Tahun II

Ditolak


Publikasi RUT terbaik Pemberian award

Predikat Riset** Sangat Memuaskan (A)

Memuaskan (B) Cukup (C) Kurang (D)

Pelaksanaan Tahun I

Ditolak

Diusulkan untuk dibiayai

Seminar Pembahasan

Rapat Panel II

Rapat Panel I

Penerimaan Proposal

BD Pelaksanaan Dibiayai Th-3

(BD – 10)

BD pelaksanaan Dihentikan th-2

(BD – 9)

BD Pelaksanaan Dibiayai Th-2

(BD – 8)

BD pelaksanaan Dihentikan th-1

(BD – 7)

Keterangan: Detil isi masing-masing basis data, seperti terlampir

BD Hasil Penilaian Akhir(BD – 11)

BD Proposal Dibiayai Th-1

(BD – 6)

BD Proposal Diteruskanke Reviewer

(BD – 3)

BD Proposal Ditolak III (BD – 5)

BD Proposal Ditolak II (BD – 4)

BD Proposal Ditolak I (BD – 2)

BD Proposal Masuk (BD – 1)

ALIRAN PROSES BASIS DATA, BD

** A : Peneliti Utama dapat langsung mengajukan

proposal baru, pada program RUT tahun berikut.

B : Peneliti Utama dapat mengajukan proposal RUT dua tahun berikutnya.

C : Peneliti Utama dapat mengajukan proposal RUT tiga tahun berikutnya.

D :Peneliti Utama dapat mengajukan proposal RUT empat tahun berikutnya.

* Walaupun dihentikan pembiayaannya, Peneliti Utama harus melaporkan hasil pelaksanaan risetnya.

Tidak diusulkan untuk dibiayai

Gambar 5. Proses seleksi dan evaluasi program RUT serta basis data yang perlu dibuat



7.2. Uraian proses seleksi, monitoring dan evaluasi RUT

Penerimaan Proposal

Format Proposal RUT disusun dengan sistematika berikut (penomoran

format tidak dibakukan, sewaktu-waktu dapat berubah):

1. Data Pengusul Proposal terdiri dari: Judul; Pengenalan; Pengesahan;

Personalia Peneliti; Pernyataan Keikutsertaan dalam RUT; Personalia

Teknisi; Biodata Peneliti. Contoh format terlampir.

2. Proposal Riset, terdiri dari: Lembar Depan; Rancangan Penelitian; Isi

Proposal; Personalia Riset; Rincian Anggaran; dan Jadual Kegiatan.

Contoh format terlampir.

Proposal disusun secara seksama mengikuti petunjuk penyusunan yang

tercantum pada “Buku Petunjuk Penyusunan Proposal RUT”.

Sekretariat RUT setelah menerima dan mencatat proposal yang masuk,

mengadakan seleksi administratif terhadap persyaratan Peneliti Utama,

Lembaga Penanggung jawab, Surat Pernyataan dan kelengkapan-

kelengkapan lainnya.

Proposal beserta daftarnya dikirim kepada Ketua Panel dan Anggota

Panel yang berkenaan sesuai dengan bidang keahliannya. Sejak RUT IX,

dimulai suatu sistem penilaian anonim. Proposal yang dinilai tidak

mencantumkan identitas pengusul.

Rapat Panel I

Apabila ada proposal yang tidak sesuai di bidangnya, Ketua Panel dapat

memindahkan ke bidang lain yang lebih sesuai dengan menggunakan

format Perpindahan Bidang (contoh terlampir).

Proposal yang dapat dinilai langsung oleh Panel, penilaiannya

menggunakan format Hasil Penilaian Panel (contoh terlampir). Sedangkan

rekapitulasi hasil penilaian panel dituangkan dalam format Rekapitulasi

Hasil Penilaian Proposal (contoh terlampir).

Rapat Panel I, hasilnya dapat berupa : Proposal ditolak, diteruskan ke

Seminar Pembahasan, atau di kirim ke Peer Reviewer.


Peer Reviewer

Peer Reviewer adalah pakar dengan keahlian sesuai dengan substansi

proposal, dan ditetapkan oleh para Panel bidang RUT untuk memberikan

tanggapan dan evaluasi atas suatu proposal.

Proposal yang sangat perlu mendapat tanggapan dari Peer Reviewer

dikirimkan dengan menggunakan format Permohonan Peer Reviewer (contoh

terlampir).

Peer Reviewer melakukan evaluasi secara kritis atas suatu proposal untuk

membantu panel pakar mengambil keputusan,

Dalam melakukan evaluasi, peer reviewer tidak diijinkan kontak dengan

pengaju proposal dan hasil evaluasinya bersifat rahasia,

Hasil evaluasi peer reviewer dituliskan pada formulir Hasil evaluasi reviewer

(contoh format terlampir), dan selanjutnya disampaikan kepada

Sekretariat RUT LIPI sebelum batas waktu berakhir, sebagai bahan Rapat

Panel II.

Rapat Panel II

Rapat Panel II dilaksanakan untuk membahas hasil penilaian/tanggapan

Peer Reviewer.

Hasil penilaian baik pada Rapat panel I maupun II dituangkan ke dalam

Berita Acara Hasil Seleksi Proposal RUT sebagai lampiran Surat

Pemberitahuan dengan menggunakan format Berita Acara Hasil Seleksi

Proposal (contoh terlampir).

Rapat Panel II, hasilnya dapat berupa : Proposal dilanjutkan ke Seminar

Pembahasan atau ditolak (tidak dapat dilanjutkan untuk seleksi

selanjutnya).

Seminar Pembahasan

Seminar pembahasan dimaksudkan untuk memberi kesempatan bagi para

Peneliti Utama yang proposalnya dinyatakan lolos seleksi tahap I dan II

untuk menyajikan dan memperjelas proposalnya di depan panel pakar

dan peneliti utama lainnya di bidang yang sama.


Hasil seminar pembahasan dituangkan dalam Berita Acara Hasil Seminar

Pembahasan Proposal RUT sebagai lampiran Surat Pemberitahuan

dengan menggunakan format Berita Acara Hasil Seminar Pembahasan

(contoh terlampir).

Hasil seminar menghasilkan dua kategori, yaitu proposal diusulkan untuk

dibiayai dan proposal tidak diusulkan untuk dibiayai.

Kontrak Kerjasama

Peneliti Utama yang proposalnya diusulkan untuk dibiayai, sebagai

penanggungjawab riset selanjutnya menandatangani kontrak kerjasama

untuk melaksanakan kegiatan riset seperti yang tertera dalam

proposalnya. Pola semacam itu kemungkinan berbeda di institusi atau

lembaga riset yang lain. Kontrak kerjasama cukup ditandatangani oleh

Ketua Lembaga atas nama seluruh peneliti utama RUT di lembaganya.

Pencairan anggaran untuk biaya operasional riset dilakukan termin per

termin dengan memperhatikan laporan kemajuan riset yang telah dicapai.


Setiap tahun akan diadakan Seminar Evaluasi dan Pembahasan

pelaksanaan RUT untuk memberi kesempatan bagi para peneliti utama

menyajikan dan menjelaskan hasil yang telah dicapai dan sekaligus

membahas rencana kerja RUT tahun berikutnya.

Hasil seminar akan mengkategorikan riset dalam tiga kelompok, yaitu :

1. Riset diusulkan untuk dibiayai kelanjutannya;

2. Riset tidak diusulkan untuk dibiayai kelanjutannya;

3. Riset telah selesai

Materi Penilaian menyangkut: kemajuan pelaksanaan, hasil, rencana kerja

dan kegiatan penunjang.

Hasil Evaluasi dituangkan dalam format Berita Acara Hasil Evaluasi RUT

(contoh terlampir).


Monitoring dan Evaluasi Kegiatan

Tim monev RUT yang berintikan tim panel, sekretariat RUT – sebagai

pendamping, dan KMNRT akan melakukan kunjungan lapangan untuk

memantau secara langsung kegiatan RUT di laboratorium tempat RUT

dilaksanakan. Jadual kunjungan dan nama anggota tim akan disampaikan

sebelumnya oleh LIPI kepada lembaga penanggung jawab program. Hal-hal

yang menjadi fokus perhatian adalah substansi saintifik dan administratif.

Khusus substansi yang disebutkan terakhir, selanjutnya disampaikan kepada

pengelola RUT (LIPI) dan pemilik program (KMNRT). Contoh format

matriks pemantauan dan evaluasi RUT, seperti terlampir.

Evaluasi Hasil Akhir

Dalam rangka program monitoring dan evaluasi jenjang peningkatan mutu

peneliti di Indonesia, Dewan Riset Nasional mengembangkan suatu pedoman

evaluasi hasil akhir penelitian RUT, yaitu dalam bentuk jenjang predikat

pengakuan resmi KMNRT terhadap perseorangan peneliti utama. Tujuan

dilaksanakannya evaluasi hasil akhir RUT ini disamping untuk menetapkan

jenjang predikat pengakuan atas mutu peneliti utama, juga sekaligus sebagai

rekomendasi pada peneliti utama untuk menangani kegiatan riset yang lebih

besar cakupan materi, tujuan dan dana riset yang diperlukan.

Materi penilaian yang ditetapkan sampai saat ini, ditinjau dari :

1. Pelaksanaan riset, yang meliputi:

Keterpaduan

Sistematika laporan

Konsistensi dengan tujuan

Kelayakan biaya dengan luaran yang dihasilkan

Ketepatan pelaksanaan rencana

2. Luaran produk :

Hasil/produk ilmiah berupa artikel ilmiah, temuan baru, paten

dan/atau teknologi baru/prototipe.


Dampak, luaran berupa pengembangan SDM, pengembangan Iptek,

dan yang mendukung upaya pembangunan.

7.3. Informasi dan Data yang Diperlukan untuk Menetapkan Indikator

Kinerja Lembaga Riset

Sebagai suatu lembaga riset, baik LPND, LD, PT maupun Industri

disarankan agar mampu melaksanakan monitoring dan evaluasi secara

mandiri. KMNRT dalam hal ini hanya berfungsi sebagai pendorong dan

pembuka peluang berlangsungnya penilaian atas aktivitas riset di seluruh

lembaga riset nasional. Hasil evaluasi dapat dijadikan sebagai referensi

KMNRT dalam menindaklanjutinya berupa evaluasi eksternal atau kebijakan

pengembangan yang diperlukan. Untuk membantu lembaga atau institusi

riset melaksanakan evaluasi diri, KMNRT menyusun borang pemandu

disertai maksud dan tujuan data koleksi tersebut.

Contoh berikut adalah model evaluasi untuk riset dan merupakan

bagian dari LAKIP. Yang disebutkan terakhir ini meliputi seluruh aspek

kegiatan lembaga.

Visi dan Misi

Dituliskan visi dan misi lembaga secara lengkap. Kejelasan tentang

keduanya merupakan referensi yang baik bagi analisis komparatif terhadap

jenis tema atau topik, produk, manfaat dan dampak riset yang telah

dihasilkan.

Sumberdaya

Sumberdaya yang dimaksudkan dalam hal ini meliputi sumberdaya

manusia, fasilitas laboratorium, peralatan atau instrumen, dana dan

informasi. Kelengkapan data seluruh sumberdaya, mengenai kualifikasi usia,

tingkat kompetensi, nilai investasi, kondisi fungsional, tingkat pemanfaatan

dan lain-lain, memudahkan lembaga dalam menetapkan indikator kinerja

seperti efisiensi, efektivitas, critical mass, unit cost riset faktual, dan

keberlanjutan (sustainability). Disarankan juga untuk menganalisis seluruh

data yang dipunyai menurut metode statistik sehingga informasi yang


dihasilkan lebih obyektif. Melalui metode yang sama dapat dilakukan analisis

hubungan antar indikator kinerja.

Diawali dengan data sumberdaya manusia yang diyakini merupakan

data terlengkap yang dipunyai lembaga. Hal ini dapat dipahami mengingat

seluruh proses kepegawaian, umumnya teradministrasikan dengan baik,

mulai sejak proses rekrutmen sampai pengembangan karir dan pemutusan

hubungan kerja pegawai suatu lembaga.

Tenaga Kerja

− Tenaga Struktural

Yang dimaksudkan dengan tenaga struktural adalah tenaga

administrasi atau tenaga fungsional yang ditugaskan selama periode

waktu tertentu untuk mengisi jabatan struktural formal di dalam

organisasi lembaga.

Eselon Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n I II III IV

TOTAL

− Tenaga Administrasi

Yang dimaksud dengan tenaga administrasi adalah tenaga kerja yang

direkrut khusus untuk melaksanakan tugas dalam bidang administrasi.

Tenaga administrasi tidak mempunyai penugasan dalam aktivitas riset.

Pendidikan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n S3 S2 S1 D3 SLTA TOTAL Golongan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n I II III


IV TOTAL

− Tenaga Fungsional

Yang dimaksud tenaga fungsional adalah tenaga kerja yang direkrut

dengan tujuan awal sebagai periset atau tenaga pendukung aktivitas

riset secara aktif. Kelompok ini menjadi tenaga inti suatu unit riset.

Pendidikan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n S3 S2 S1 D3 SLTA TOTAL

Jabatan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n

Periset Perekayasa Tenaga Litkayasa Pranata Komputer Pustakawan Arsiparis Auditor

Golongan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n

I II III IV TOTAL

Tenaga kerja di suatu lembaga umumnya menerima kesempatan

untuk mengembangkan karirnya selama periode aktif, melalui berbagai

peluang seperti sekolah lanjut, pelatihan sertifikasi, kursus, seminar dan

lain sebagainya. Data yang lebih bersifat individual semacam ini

seringkali tidak tercatat secara administratif di kantor pusat, namun

lebih banyak dipunyai individu yang bersangkutan. Kelengkapan data

ini dapat dipergunakan untuk menganalisis kualifikasi, tingkat

kompetensi setiap individu sekaligus unit riset di suatu lembaga. Untuk

mendukung keperluan itu, diperlukan sejumlah data sebagai berikut:

Pendidikan Formal Pendidikan Formal No. Nama Pegawai Gol Jabatan Fungsional Jenis Lama Jenis Lama

Sarana dan Prasarana

− Laboratorium

Data laboratorium tergolong ke dalam data yang cukup sulit

pengadministrasiannya. Umumnya lembaga lemah di dalam pendataan

fasilitas laboratorium. Meskipun demikian, kelengkapan dan kejelasan

data laboratorium sangat diperlukan dalam menetapkan indikator

kinerja seperti halnya efisiensi utilisasi laboratorium, keberlanjutan unit,

indeks ruangan kerja. Olehkarena itu, untuk memungkinkan

dilakukannya analisis yang baik terhadap fasilitas laboratorium,

diperlukan data sebagai berikut:

Unit Riset

Labora-torium

Luasan (m2)

Biaya Pera-watan (Rp/

tahun)

Usia Labor

(tahun)

Kondisi Fungsional Laboratori-

um

Layan-an

Masya-rakat*

Rata-rata penggu-

naan (jam/

minggu)**

* (pelatihan, kerjasama riset, pemeriksaan-pengujian, dll kegiatan yang sejenis) ** (termasuk untuk kegiatan rutin dan jasa layanan masyarakat)

− Peralatan

Seperti halnya data tentang laboratorium, suatu lembaga umumnya

lemah di dalam pendataan fasilitas peralatannya. Meskipun kewajiban

lembaga untuk melaporkan seluruh inventaris yang dipunyai dan secara

berkala melaporkan ke unit utamanya tentang mutasi inventaris yang

terjadi, namun data fungsional dan efisiensi penggunaan peralatan,

sukar ditemukan. Tidak tersedianya data mengenai tingkat depresiasi

peralatan yang dipunyai, rendahnya kemampuan lembaga dalam

melakukan reinvestasi peralatan, produk riset yang belum mencapai


taraf komersial menyebabkan data yang ada belum mampu

mengindentifikasi indikator kinerja seperti return on investment. Juga

informasi mengenai efisiensi utilisasi peralatan belum teridentifikasi

dengan keterbatasan ketersediaan data di lembaga riset. Untuk

mencoba memberi dukungan kepada terselenggaranya proses

identifikasi efisiensi peralatan, disarankan agar lembaga riset

mengumpulkan data yang diperlukan sebagai berikut:

* (pelatihan, pemeriksaan-pengujian, kursus dam kegiatan lain yang sejenis) * * (termasuk kegiatan operasional rutin, layanan masyarakat)


− Dana

Yang dimaksudkan dengan dana dalam hal ini adalah seluruh dana riset

yang dipergunakan untuk membiayai riset sepanjang tahun tanpa

memperhatikan darimana sumber dana berasal. Jadi, dana riset tersebut

merupakan akumulasi seluruh dana riset yang diperoleh lembaga

termasuk yang diperoleh periset melalui kemampuan individu atau

kelompok. Kelengkapan dan kejelasan dana riset dapat menunjukkan

indikator kinerja keberlanjutan lembaga, attractiveness, relevansi produk

riset dan unit cost faktual lembaga. Untuk itu diperlukan data sebagai

berikut:

Pusat Unit Riset 1 Unit Riset n

Sumber Dana

Adm

in

Inve

s

Adm

in

Inve

s

Rise

t

Adm

in

Inve

s

Rise

t Total

1. DIP (rupiah murni) 2. DIK 3. DIKS 4. Bantuan LN (US$) 5. Hibah LN (US$) 6. Kerma Bilateral (US$) 7. Lainnya (mis.Reboisasi) 8. Total 1

Unit Riset

Labora-torium

Nama Alat

Utama

Biaya Pera-watan (Rp/

tahun)

Usia Alat

(tahun)

Kondisi Fungsional Peralatan

Layan-an

Masya-rakat*

Rata-rata penggu-

naan (jam/

minggu)**


Total

− Informasi

Layanan informasi terakhir dapat dibedakan atas layanan manual dan

elektronik. Layanan manual dimaksudkan untuk model layanan

perpustakaan. Sedangkan layanan elektronik adalah layanan informasi

melalui sistem jaringan komputer. Informasi tentang perpustakaan dan

komputer pada hakekatnya diperlukan untuk menunjukkan indikator

kinerja efisiensi, relevansi tema riset dengan state of the art keilmuan,

kualitas informasi. Beberapa data yang diperlukan untuk itu antara lain:

Koleksi

No Unit Riset

Nama Perpus-takaan

Luasan (m2) Jenis* Jml

Tahun Terbit

Masa Layanan

(Jam/ Minggu)

Biaya Rutin (Rp/

tahun)

Pengun-jung

(orang/ tahun)

* (buku teks, jurnal ilmiah, CD-Rom, film mikro, majalah, dan lain-lain)

Aktivitas

− Administrasi dan Operasional Riset

Aktivitas riset di suatu lembaga dapat dikelompokkan atas tiga pola,

yaitu (1) mandiri, riset dilaksanakan sendiri di luar tema kembaga,

dibiayai sendiri, (2) mandiri plus, riset dipimpin sendiri, biaya riset

bersumber dari eksternal (dana KMNRT dan/atau Dikti atau sumber

dana lainnya) dan (3) rutin, riset dilakukan atas dasar penugasan

lembaga, dibiayai melalui DIP atau DIKS. Kelengkapan data semacam

ini sangat besar manfaatnya dalam mengindikasikan indikator kinerja

keberlanjutan lembaga, efisiensi penggunaan sumberdaya manusia,

efektivitas lembaga, attractiveness unit, relevansi program. Untuk itu

diperlukan dukungan data berikut:

No. Kerjasama Usia Kerma

Instansi Mitra

Nilai Kerma (RP)

Produk Kerma

Unit Riset Pelaksana

Jumlah Peneliti Terlibat


− Agenda Riset Tahunan, ART

Yang dimaksudkan dengan agenda riset tahunan adalah kegiatan riset

yang meliputi sejak perencanaan sampai evaluasinya selama satu tahun

anggaran atau tahun akademik. Adanya ART mengindikasikan adanya

manajemen riset yang profesional dan sistematis di lingkungan suatu

lembaga. Dengan demikian, ART memungkinkan periset di suatu

lembaga berpeluang untuk menyusun strategi riset yang rasional. Untuk

mendukungnya diperlukan beberapa data, antara lain:

Bulan Ke No. Aktivitas

1 2 3 4 5 6 7 8 9 10 11 12 Kete-

rangan

1. Distribusi kebijakan riset nasional

2. Pelatihan penyusunan proposal

3. Pelatihan penyusunan artikel saintifik

4. Pemberitahuan pengajuan proposal riset

5. Batas akhir waktu penyampaian proposal

6. Seleksi proposal 7. Perbaikan proposal 8. Pemberitahuan

topik riset yang dibiayai

9. Penyiapan dan penandatanganan kontrak

10. Pencairan dana riset

11. Pelaksanaan riset 12. Pemantauan ke

lab/lapangan

13. Penyusunan laporan akhir

14. Batas akhir waktu penyerahan laporan akhir

15. Pencairan dana riset 100%

16. Diseminasi hasil riset


− Pengajuan dan Hasil Seleksi Proposal

Baik kegiatan pengusulan maupun hasil seleksi proposal seyogyanya

terekam secara baik, olehkarena keduanya dapat mengindikasikan

aspirasi periset atau lembaga dan kualifikasi periset di suatu unit riset di

dalam lembaga. Disamping itu, produktivitas periset, bidang spesialisasi

yang dikuasai juga sekaligus dapat diekspos.

No. Topik Riset Nama dan Biodata Periset Nama Unit Riset

− Rekapitulasi data riset yang dilaksanakan

Data topik riset yang dibiayai pelaksanaannya, baik disusun secara rinci

ataupun dalam bentuk rekapitulasinya akan mendukung dalam

mengindetifikasi potensi periset, tema penunjuk indentitas, efisiensi

periset dan unit riset, efektivitas, produktivitas lembaga ataupun

individu periset.

Hasil seleksi proposal dapat disusun dalam bentuk tabel rekapitulasi

dan data topik riset sebagai berikut:

Rekapitulasi Hasil Seleksi Proposal Riset

Jumlah Proposal Nilai Proposal (Rp) No. Nama Unit Riset

Usulan Diterima Usulan Disetujui Keterangan

Data Topik Riset

No Judul Riset

Nama Pelak-sana

Biaya Riset (Rp)

Sum-ber

Dana Riset

Lokasi Pelak-sanaan

Produk Riset*

Insti-tusi

Mitra

Periode Waktu

Pelaksa-naan

(tahun)

Ketua Anggota

* artikel ilmiah, prosiding, buku teks, modul pelatihan, alat peraga, desain, algoritma, cetak biru, paten, poster, peraturan, standar, dan lain-lain

− Realisasi Dana Operasional Rutin dan Riset

Ada dua hal yang perlu memperoleh perhatian seksama, yaitu: (1) dana

operasional rutin dan pembangunan lembaga, dan (2) dana operasional


riset. Dalam model DIP dan DIK, keberadaan kedua jenis alokasi dana

tersebut seringkali terintegrasi dan tidak secara nyata terpisah. Kondisi

semacam ini dapat menimbulkan kesulitan di dalam upaya lembaga

menghitung alokasi dana riset tahunan secara cepat. Meskipun

demikian, jika kedua alokasi dana rutin dan riset terintegrasi, maka

terlebih dahulu harus dilakukan pemisahan dan masing-masing diberi

kode tertentu sehingga jika keduanya digabungkan, nilai nominal DIP

atau DIK atau DIKS sesuai dengan nilai nominal integrasi. Alokasi

dana operasional riset tahunan disarankan untuk dihitung tanpa biaya

investasi bangunan laboratorium ataupun peralatan. Olehkarena, nilai

nominal riset akan berfluktuasi dan tidak konsisten. Total alokasi

tersebut dapat dipergunakan untuk menghitung unit cost faktual per

periset per tahun untuk setiap lembaga. Jika alokasi dana investasi turut

diperhitungkan, maka perhitungan unit cost menjadi kurang relevan.

Dalam hal ini lebih utama menghitung return on onvestment lembaga.

Model perhitungan return on investment dapat disimak pada Buku

“Manajemen Unit Riset” yang diterbitkan KMNRT tahun 2001.

Untuk mendukung kemudahan perhitungan unit cost faktual, diperlukan

beberapa data keuangan berikut:

Unit Riset 1 Unit Riset n

No. Sumber Dana Aloka-

si (Rp)

Aloka-si (Rp)

Reali-sasi

(Rp)/%

Aloka-si (Rp)

Reali-sasi

(Rp)/%

Total Serap-

an (Rp)/%

Sisa Dana

(Rp)/%

1. DIK 2. DIKS 3. DIP (rp murni) 4. DIP Loan ($) 5. Hibah ($) 6. Lainnya

− Monitoring dan Evaluasi

Aspek monitoring dan evaluasi diharapkan dapat mengidentifikasi

manfaat dan dampak suatu aktivitas dan produk riset, baik bagi


lingkungan internal maupun eksternalnya. Olehkarena kedua indikator

tersebut dapat memandu pengelola program riset dalam menganalisis

indikator kinerja lain seperti relevansi produk, yang akan menunjukkan

kualitas produk dalam konteks ekonomi; indeks sitasi, menunjukkan

kualitas dalam konteks saintifik. Beberapa data berikut dinilai dapat

mendukung analisis tersebut.

Nama Unit Riset :

No. Item subjek monitoring dan evaluasi

1. Topik riset - ditulis lengkap

2. Nama ketua dan anggota tim - nama, bidang ilmu atau keahlian

3. Dana riset - sumber dana - nilai nominal dana riset - cara menetapkan nilai nominal dana riset - cara penggunaan - kendala yang dihadapi internal dan eksternal - teknik solusi persoalan dana

4. Layanan informasi - koleksi perpustakaan pada bidang riset - layanan perpustakaan - biaya layanan - layanan internet dan biayanya

5. Produk riset - jenis produk - posisi produk terhadap pemanfaatannya - prediksi nilai komersial/saintifik

6. Manfaat riset - aspek sosial (jumlah lapangan kerja baru, jumlah

pasien yang terobati, jumlah penduduk bebas buta huruf, dll)

- aspek ekonomi (nilai nominal yang terselamatkan dengan kehadiran produk riset, nilai royalti yang diterima, nominal peningkatan pendapatan, nilai nominal penghematan akibat adanya produk, dll)

- aspek teknologi (inovasi baru, teknologi produk riset diterapkan di industri, dll)


No. Item subjek monitoring dan evaluasi

7. Dampak riset (internal, eksternal) - dampak internal (tingginya nilai indeks sitasi,

besarnya minat periset muda potensial untuk bergabung, terpeliharanya fasilitas riset, meningkatnya motivasi melakukan riset, tingginya efisiensi SDM riset, munculnya pengakuan sejawat, dll)

- dampak eksternal (meningkatnya tingkat kesejahteraan dan kecerdasan masyarakat, menurunnya angka kematian bayi, tereduksinya angka pengangguran, perubahan profesi penduduk, dll)

8. Rencana tindak lanjut - up scaling - usulan baru RUK, Rusnas, dll - pendaftaran Paten - implementasi di masyarakat - dll

9. Dukungan administratif dan teknis terhadap riset - administrasi keuangan - perijinan - kesiapan fungsi peralatan - pelaporan dan pengolahan data - dll

10. Pemahaman periset akan Jakstra dan Punas - arti Jakstra dan Punas - posisi dan fungsi Jakstra dan Punas dalam

aktivitas riset - saran perbaikan

11. Pemahaman periset akan renstra lembaga - arti renstra bagi strategi riset kelompok - saran perbaikan

12. Keserasian aktivitas dan produk dengan misi lembaga 13. Usulan unit cost riset

- unit cost faktual berbasis empirik - item penentu besaran unit cost kelompok - unit cost ideal

14. Ketercapaian critical mass dalam unit riset - keseimbangan jumlah periset, kualifikasi terhadap

volume dan kompleksitas riset - antisipasi yang pernah dilakukan

15. Korelasi topik riset dengan Jakstra dan Punas - enam Isu Strategis - sebelas Bidang Unggulan


Jenis Produk Riset

− Artikel saintifik

No. Topik Artikel Penulis

Nama Jurnal/

Seminar

Tahun Terbit/ Waktu

Seminar

Lingkup Edar Jurnal/

Seminar (DN/LN)

Topik Riset

Sumber Artikel

− Poster

No. Nama Seminar

Pembuat Poster

Tahun Seminar

Skala Seminar (DN/LN)

Topik Riset Sumber Poster

− Paten

No. Tgl. & No. Pendaftaran Paten

No. Paten

Pemeriksaan Substantif

No. ID Paten

Topik Riset Sumber Paten

− Peraturan

No. Tgl. & No. Peraturan Perihal Masa Berlaku

Diundang-kan oleh, di

Topik Riset Sumber

Peraturan

− Standar

No. Tgl. & No. SNI Perihal Pemakai/Pelanggan Manfaat terhadap Mutu dan Pemasaran

− Sertifikasi

No. Tgl. & No. Sertifikat Perihal Pemakai/ Pelanggan

Biaya (Rp)

Manfaat terhadap Pemakai/Pelanggan

− Akreditasi

No. Tgl. & No. Akreditasi Nama lab/alat dan

instansi yang diakreditasi

Biaya akreditasi

(Rp) Manfaat terhadap

Pemakai/Pelanggan

− Prototipe

No. Nama Prototipe

Spesifikasi Teknis

Jumlah (buah)

Pemakai/ Pelanggan

Harga Jual (Rp)

Terjual (buah)


− Sistem

No. Nama Sistem Uraian Ringkas

Pemakai/ Pelanggan


− Informasi

No. Jenis Informasi

Ruang Lingkup

Pemakai/ Pelanggan

Teknis Akses

Informasi Manfaat terhadap

Pemakai/Pelanggan

− Modul Pelatihan

No. Nama Modul Perihal Jumlah

(eks.) Tujuan

Penggunaan Pemakai/

Pelanggan Harga Jual

(Rp) Terjual

(Rp)

− Desain

No. Topik Desain Spefikasi Teknis

Pemakai/ Pelanggan

Harga Jual (Rp)


− Buku Teks

No. Judul Buku Teks

Nama Penulis

Nama Penerbit & Tahun Terbit

Jumlah (eks.)

Harga Jual (Rp)

Topik Riset Sumber

Buku Teks

− Peta/Foto

No. Judul Peta/Foto Perihal Skala Jumlah

(buah) Pemakai/

Pelanggan

Harga Jual (Rp)

Terjual (buah)

− Alat Peraga

No. Nama Alat

Peraga

Bahan Yang

Digunakan Jumlah (buah)

Spefikasi Teknis

Pemakai/ Pelanggan

Harga Jual (Rp)

Terjual (buah)

− Barang (alat dan bahan kedokteran, makanan, radioisotop)

No. Nama Barang

Spefikasi Teknis

Jumlah (buah)

Tujuan Penggu-

naan Pemakai/

Pelanggan

Harga Jual

(buah)

Terjual (buah)


8. Bahan Bacaan

Herman, J.L., Morris, L.L., and Fitz-Gibbon, C.L., “Evaluator’s Handbook”, The Regents of the University of California, 1987

Lembaga Penelitian-Institut Teknologi Bandung, “Laporan Akhir: Pengembangan Koordinasi dan Sosialisasi Sistem Monitoring Program, Evaluasi Pelaksanaan Pembangunan Riptek dan Evaluasi Proyek Khusus”, Bandung, 2000

Lembaga Administrasi Negara dan Badan Pengawasan Keuangan dan Pembangunan, “Pengukuran Kinerja Instansi Pemerintah: Laporan Akuntabilitas Kinerja Instansi Pemerintah (LAKIP), Modul 1-5”, Jakarta, Maret 2000

Badan Perencanaan Pembangunan Nasional RI, “Evaluasi Kinerja Proyek Pembangunan”, Kantor Bappenas, Jakarta, Juli 2000

LAPI-Bandung Institute of Technology, “Policy Studi on Establishment of Aviable Research Monitoring and Evaluation System: Final Report Appendix to Human Resources Development”, Bandung, March 2000

LAPI- Bandung Institute of Technology, “Policy Study on Strengthening The University and Industry Linkages”, Bandung, March 2000


Documents

Laporan Panduan Monitoring Dan Evaluasi