Evaluasi Acak (Randomized Evaluation): Dari awal sampai …. Start to... · Ikhtisar Pelatihan 1....

Evaluasi Acak (Randomized Evaluation):

Dari awal sampai akhir

1

Freida Siregar

J-PAL SEA

Ikhtisar Pelatihan

1. Apa yang dimaksud dengan evaluasi? Mengapa

Mengevaluasi?

2. Mengapa melakukan pengacakan?

3. Cara pengacakan

4. Kendala dan Tantangan

5. Evaluasi dari Awal sampai Akhir

6. Analisis Keefektifan Biaya

Ikhtisar Pelatihan

1. Apa yang dimaksud dengan evaluasi? Mengapa

Mengevaluasi?

2. Mengapa melakukan pengacakan?

3. Cara pengacakan

4. Kendala dan Tantangan

5. Evaluasi dari Awal sampai Akhir

6. Analisis Keefektifan Biaya

Alur Evaluasi secara umum

4

Desain Evaluasi

• Konteks

• Pertanyaan penelitian/ kebijakan

• Perlakuan yang akan diujicobakan

• Metode randomization

Baseline

• Survei: Pengumpulan indikator

• Random assignment

• Pengendalian kualitas

Perlakuan

• Implementasi perlakuan

• Pengendalian kualitas internal

• Koordinasi

• Kunjungan lapangan

Midline dan/atau Endline

• Survei: Pengumpulan indikator

• Pengendalian kualitas

Analisa

• Temuan kebijakan

• Policy outreach

Evaluasi dari Awal sampai Akhir

5

1. Latar Belakang dan Desain Evaluasi

2. Implementasi: Perlakuan (Treatment)

3. Implementasi: Pengumpulan Data

4. Analisa dan Scaling up

Latar Belakang Evaluasi

6

Latar Belakang dan Desain

7

Konteks

• Program Raskin

• Mitra: TNP2K

Pertanyaan Penelitian/ Kebijakan

• Pertanyaan Penelitian/ Kebijakan

• Theory of change

• Log frame

Perlakuan yang akan

diujicobakan

Metode randomization

• Unit randomisasi

• Sample frame

• Stratification

Latar Belakang dan Desain

8

Konteks

• Program Raskin

• Mitra: TNP2K

Pertanyaan Penelitian/ Kebijakan

• Pertanyaan Penelitian/ Kebijakan

• Theory of change

• Log frame

Perlakuan yang akan

diujicobakan

Metode randomization

• Unit randomisasi

• Sample frame

• Stratification

Program: Raskin

9

• Salah satu program perlindungan sosial Indonesia yang paling

besar

– US $1.5 milyar pengeluaran tiap tahun

– 53% dari belanja APBN untuk perlindungan sosial (World Bank 2012)

• Menyediakan beras bersubsidi kepada rumah tangga miskin dan

rentan

– 15 kg beras dengan harga Rp. 1,600 per kg Titik Distribusi

– Sasaran: 30% RT paling miskin (PPLS’10)

• Nyatanya, Rumah Tangga Sasaran Penerima Manfaat (RTS-PM)

Raskin hanya menerima 32% subsidi(Raskin HH survey

Mitra: TNP2K

10

• Tim Nasional Percepatan Penanggulangan Kemiskinan (TNP2K),

• Dibentuk dan berada di bawah Wakil Presiden Boediono

• Mandat TNP2K: – Menyusun kebijakan evidence-based untuk

meningkatkan keefektifan program bantuan sosial,

– Mengordinasikan aktor –aktor pemerintahan untuk tujuan ini

• Salah satu prioritas utama TNP2K adalah meningkatkan targeting dan service delivery. Raskin berada di bawah Cluster I TNP2K

Latar Belakang dan Desain

11

Konteks

• Program Raskin

• Mitra: TNP2K

Pertanyaan Penelitian/ Kebijakan

• Pertanyaan Penelitian/ Kebijakan

• Theory of change

• Log frame

Perlakuan yang akan

diujicobakan

Metode randomization

• Unit randomisasi

• Sample frame

• Stratification

Tujuan Evaluasi

12

Mengumpulkan bukti untuk memahami apakah distribusi kartu

Raskin yang diajukan TNP2K akan meningkatkan program Raskin

Percontohan bertujuan menjawab tiga pertanyaan kebijakan

kunci:

1. Akankah kartu Raskin meningkatkan targeting dan take-up

program Raskin untuk keluarga yang berhak (RTS-PM), dan

menurunkan harga?

2. Akankah kartu Raskin diterima secara sosial?

3. Apa cara paling efektif untuk mengimplementasikan kartu?

Theory of Change

DISTRIBUSI KARTU RASKIN KEPADA RUMAH

TANGA SASARAN PENERIMA MANFAAT

RASKIN (RTS-PM)

RT MENERIMA KARTU RASKIN

RT MEMPEROLEH SUBSIDI RASKIN LEBIH BANYAK

TRANSPARANSI DAN EFEKTIFITAS

PROGRAM PERLINDUNGAN

SOSIAL MENINGKAT

Asumsi sampel: Warga memahami informasi di kartu, menggunakan kartu, tidak ketukar dengan kartu/ kupon Raskin yang mungkin ada sebelumnya

Asumsi sampel: RTS-PM menuntut harga turun, otoritas Raskin desa mendengarkan permintaan tersebut dan mampu membuat perubahan

Asumsi sampel: Pengiriman kartu ke RT berhasil, tidak ada penghalangan

Asumsi sampel: Perubahan ini berlanjut, ketidakefektifan program perlindungan sosial karena kurang transparansi

Log Frame

14

Hirarki Tujuan Indikator Sumber Verifikasi

Asumsi/ Ancaman

Dampak (Tujuan/

Tujuan Umum)

Meningkatnya

transparansi dan

keefektifan program-

program distribusi sosial

Kuantitas dan harga Raskin yang dibeli

Survei RT Perubahan praktek baru berlanjut, ketidakefektifan program karena kurang transparan

Hasil (Tujuan Proyek)

Penerima manfaat

mendapat subsidi Raskin

lebih banyak

Kuantitas dan harga Raskin yang dibeli

Survei RT RTS-PM menuntut harga turun, otoritas Raskin desa mendengarkan permintaan tersebut dan mampu membuat perubahan

Output RTS-PM menerima kartu Raskin

Apakah RTS-PM menerima kartu

Survei RT Warga memahami informasi di kartu, menggunakan kartu, tidak ketukar dengan kartu/ kupon Raskin yang mungkin ada sebelumnya

Input (Kegiatan)

Distribusi kartu kepada RTS-PM Raskin

Apakah kartu berhasil dikirim

Survei RT, data administratif dari PT Pos*

Pengiriman kartu ke RT berhasil, tidak ada penghalangan

Latar Belakang dan Desain

15

Konteks

• Program Raskin

• Mitra: TNP2K

Pertanyaan Penelitian/ Kebijakan

• Pertanyaan Penelitian/ Kebijakan

• Theory of change

• Log frame

Perlakuan yang akan

diujicobakan

Metode randomization

• Unit randomisasi

• Sample frame

• Stratification

Ikhtisar Intervensi

16

Kartu Raskin

Variasi 1: Desain

Variasi 2: Konten

Variasi 3: Distribusi

Variasi 4: Sosialisasi

Kupon

Tanpa kupon

Harga di TD

Tanpa harga

Semua RTS-PM

10% plg bawah

Standar

Tambahan

Contoh Kartu Raskin

17

Kartu Raskin dengan kupon dan harga Kartu Raskin tanpa

kupon, dengan harga

Poster Sosialisasi Tambahan

18

Variasi Perlakuan

19

Variasi Kartu Sosialisasi

Standar Sosialisasi Tambahan

Semua RTS-PM

Harga Kupon Grup 1 Grup 2

Tanpa kupon Grup 3 Grup 4

Tanpa harga

Kupon Grup 5 Grup 6

Tanpa kupon Grup 7 Grup 8

10% Paling Bawah

Harga Kupon Grup 9 Grup 10

Tanpa kupon Grup 11 Grup 12

Tanpa harga

Kupon Grup 13 Grup 14

Tanpa kupon Grup 15 Grup 16

Control (Tanpa card, tanpa sosialisasi)

Pengumpulan Data

Survei Midline Okt – Des ‘12

Survei Endline Mar – Maei‘13

Implementasi Proyek

Baseline Jan – Feb ‘12

Presentasi Desember

2012

Presentasi Juni 2013

Evaluasi & Dampak Evaluasi

20

Design Evaluation

Implementasi Perlakuan Sep – Nov ‘12

Latar Belakang dan Desain

21

Konteks

• Program Raskin

• Mitra: TNP2K

Pertanyaan Penelitian/ Kebijakan

• Pertanyaan Penelitian/ Kebijakan

• Theory of change

• Log frame

Perlakuan yang akan

diujicobakan

Metode randomization

• Unit randomisasi

• Sample frame

• Stratification

Mengidentifikasi unit pengacakan

22

• Apa unit administratif

terkecil tempat

dilaksanakannya distribusi

Raskin?

• Kecamatan? Gudang bulog?

Desa? Dusun?

Source: www.bulog.co.id

Propinsi

Kota/ Kab.

Desa/K elurahan

Di bawah Kota/Kab

Di bawah Kota/Kab

Gubernur

Bupati/ Walikota

Perum Bulog (Divre/Subdivre/Kansilog)

Gudang (Satgas Raskin)

Titik Distribusi (Pelaksana Distribusi)

Pokja Warung Desa Pokmas

Rumah tangga sasaran penerima Raskin (Dibayar tunai di Rp 1.600/kg di Titik Distribusi)

Ketua Tim Raskin Nasional (Kemeko Bid Kesra)

Sample Frame

23

• 600 desa (termasuk desa control)

28 dikeluarkan dari sampel karena berisiko tinggi dan terpencil

• 572 desa di 6 Kabupaten

Pemalang dan Wonogiri (Jawa Tengan),

Palembang dan Ogan Komering Ilir (Sumatera Selatan),

Bandar Lampung dan Lampung Tengah (Lampung)

• Sampel Raskin

sama dengan

proyek sebelumnya

(Targeting II)

Stratifikasi

24

• Perlakuan distratifikasi berdasarkan

– Kabupaten

– Kelompok Perlakuan di Targeting II

– Kecamatan

– Rasio urban terhadap rural 2:3

Bentuk Pengacakan

25

Perlakuan 1: Kartu Raskin

Perlakuan 2: Kartu Raskin + Sosialisasi Tambahan

Kendali: Tak ada perlakuan

26

Secara statistik, desa-desa Perlakuan dan Control serupa

sebelum percontohan

Baseline data from February 2012

Control CardsN = 5643

03

69

By Treatment Status

Raskin purchased (in kg)

IMPLEMENTASI: PERLAKUAN

27

Implementasi: perlakuan

28

Operasionalisasi perlakuan

Tetapkan kendali kualitas internal

Persiapan, peluncuran perlakuan (kartu, sos tambahan)

Koordinasi dengan pihak pemerintah

Kunjungan lapangan

Rencana Implementasi

29

• Operasionalisasi perlakuan

– Kembangkan rencana implementasi lapangan bersama dengan

spesialis fasilitasi dan pemerintah

– Gunakan vendor pilihan pemerintah

• Tetapkan kendali kualitas internal

– Pemeriksaan acak saat pencetakan kartu

– Standar dalam perekruitan fasilitator

– Dokumentasi implementasi perlakuan dengan form yang

sudah standar

– Prosedur pelaporan yang jelas

Rencana Implementasi

30

• Koordinasi dengan pihak pemerintah – Workshop di Jakarta untuk perwakilan dari propinsi,

kabupaten/kota

– Koordinasi pra-kerja lapangan dengan pemimpin kabupaten/ kota, kecamatan dan desa

• Persiapan, peluncuran perlakuan – Penjadwalan, pelatihan, koordinasi logistik

• Kunjungan lapangan: mengamati respon terhadap

perlakuan

Variasi Perlakuan

31

Variasi Kartu Sosialisasi

Standar Sosialisasi Tambahan

Semua RTS-PM

Harga Kupon Grup 1 Grup 2

Tanpa kupon Grup 3 Grup 4

Tanpa harga

Kupon Grup 5 Grup 6

Tanpa kupon Grup 7 Grup 8

10% Paling Bawah

Harga Kupon Grup 9 Grup 10

Tanpa kupon Grup 11 Grup 12

Tanpa harga

Kupon Grup 13 Grup 14

Tanpa kupon Grup 15 Grup 16

Control (Tanpa card, tanpa sosialisasi)

32

Secara acak, kartu dibedakan berdasarkan:

• Desain: dengan atau tanpa kupon

• Isi: dengan atau tanpa harga

• Distribusi: kepada semua RTS-PM atau hanya 10%

termiskin

Distribusi Kartu Raskin kepada RTS-PM

• Sept. hingga pertengahan Okt. ‘12

• 378 desa menerima kartu;

194 desa control

Rekap: Variasi Kartu Raskin

33

Secara acak, desa dengan kartu Raskin menerima:

• Sosialisasi Standar: Surat, DPM; atau

• Sosialisasi Tambahan:

• + 3 DPM per dusun

• + 3 poster informasi per dusun

• Sosialisasi ke tokoh masyarakat

• Pengumuman melalui mesjid

Rekap: Variasi Kartu Raskin

34

• Akhir-Sept. hingga mid-Nov. ’12

• 378 desa yang menerima kartu menerima

sosialisasi

• 186 desa: Sosialisasi Standar

• 192 desa: Sosialisasi Tambahan

• 194 desa control tidak menerima

sosialisasi

Rekap: Variasi Kartu Raskin

Seorang fasilitator menjelaskan mengenai kartu Raskin kepada pemimpin kampung di OKI, Lampung Tengah

Tantangan dalam implementasi perlakuan

35

• Beberapa desa perlakuan

tidak aman dan terpencil

• Banyak kartu tidak

sampai ke penerima

manfaat

Tantangan dalam implementasi perlakuan

36

• Fasilitator tidak menerima poster daftar

penerima manfaat yang mencukupi

• Pada saat

pertemuan, peserta

mengeluhkan

aspek lain dari

program Raskin/

pemerintah

IMPLEMENTASI:

PENGUMPULAN DATA

37

Implementasi: Pengumpulan Data

38

Rancangan kuesioner

Piloting internal Koordinasi

dengan pihak pemerintah

Persiapan, peluncuran tim pengumpulan

data

Kendali kualitas, kunjungan lapangan

Rencana Pengumpulan Data

39

• Instrumen Survei: Survei RT dan masyarakat

• Baseline—gunakan endline proyek sebelumnya – Pastikan bahwa kelompok control dan perlakuan serupa secara

statistik

• Identifikasi responden – Responden:

• RTS-PM Raskin (miskin)

• RTS-PM Raskin (sangat miskin/10% paling miskin)

• Non RTS-PM Raskin

– Listing, untuk identifikasi non RTS-PM Raskin

– Gunakan data PPLS’10 , untuk identifikasi RTS-PM Raskin

Tantangan dalam Pengumpulan Data

40

• Mencocokkan data administratif dengan lapangan

– Human error, perubahan status kemistikan/ alamat

• Mengakomodasi perubahan pada area administratif

(misalnya pemekaran)

• Keterbatasan waktu

• Memperoleh SDM untuk melaksanakan pengumpulan data

• Masalah lain: sejauh mana responden dapat mengingat?

Bagaimana cara membahasakan/ menjelaskan “Titik

Distribusi”? Dsb.

Pengumpulan Data

41

Survei Sumber Responden Data yang dikumpulkan

Baseline 2011

Endline dari Targeting II, proyek sebelumnya

Penerima PKH, non-miskin

Kendalikan bahwa kelompok control dan perlakuan serupa secara statistik

Midline Oct-Des’12

5,148 RT, melalui survei RT dan survei komunitas (target: kades/ lurah)

Non-miskin, RTS-PM Raskin (miskin dan sangat miskin)

Jumlah dan harga Raskin yang dibeli, pengetahuan tentang program Raskin, tingkat kepuasan, konsumsi RT, subjective wealth/standing, dsb.

Endline Mar-Mei ’13

6,292 RT, melalui survei RT dan survei komunitas

Ibid Ibid

Tantangan dalam evaluasi program

42

• Attrition: saat evaluator gagal mengumpulkan

sata pada individu-individu yang terseleksi sebagai

bagian dari sampel asli

– ML: 9% diganti (418/4,572), EL: 9.8% (561/5,706)

– Penggantian responden diintegrasikan dalam proses

pengumpulan data

– Mengeluarkan 28 desa dari evaluasi

43

ANALISIS

44

Analisis

45

1. Rancang rencana analisis

2. Tulis STATA do.file 3. Proses data melalui program

4. Hasilkan grafik 5. Analisis: Hubungkan dengan observasi kualitatif dari lapangan

6. Diseminasi temuan

Relatif terhadap control, RT yang berhak

di desa kartu memiliki kepuasan lebih

tinggi terhadap Raskin

Peningkatan pembelian Raskin oleh

yang berhak dibandingkan control

RT yg berhak di desa perlakuan membeli beras

lebih banyak dibanding kelompok control

46

Control CardsN = 2770

02

04

06

08

0

Eligible

Control CardsN = 1362

Ineligible

By Treatment Status and Sample

HH bought raskin (pooled since oct)

Control CardsN = 2769

01

.93.8

5.7

7.6

Eligible

Control CardsN = 1362

Ineligible

By Treatment Status and Sample

Amount of raskin (kg, pooled since oct)

Dapatkah kita menghasilkan grafik “subsidi diterima” ini?

1.4kg (25%) more rice

4.5pp

HA

SIL

MID

LIN

E

47

RT yang berhak di desa perlakuan membeli

menerima lebih banyak subsidi

Tak ada perbedaan dlm hal kepuasan RT

antara perlakuan dan control

RT yang berhak di desa perlakuan membeli

lebih banyak beras

RT yang berhak di desa perlakuan

membayar dengan markup lbh kecil

0.9 kg (19%) lebih beras

Rp. 77/kg (13%) Harga markup lbh kecil

Sekitar Rp. 6000/KK/bln (21%)

Jadi apakah org yang berhak di desa kartu juga menikmati harga yang digelembungkan yang lebih kecil? Berapa besar?

HA

SIL

END

LIN

E

Perkembangan Hasil

48

Perlakuan → Hasil Midline Endline Kartu → take-up, pembelian, dan subsidi

(+) (+)

Kartu → kepuasan HH (+) yg berhak

(eligible) Tak ada efek

Sosialisasi Tambahan/ Enhanced Socialization (ES)

→ pembelian, subsidi (+) eligible (+) eligible

ES → kepuasan

(+) HHs (+) HHs

(−)Pemimpin Tak ada efek pemimpin

Harga pencetakan → markup harga

(−) (−), hanya pada ES

Kupon → subsidi (−) ineligible

(tidak berhak) (+) eligible

Distribusi kepada 10% termiskin

→ pembelian beras Tak ada efek (+), karena ES

49

• Distribusi Kartu Raskin meningkatkan program

• RTS-PM yang membeli serta jumlah pembelian RTS-PM

Raskin meningkat

• Pengelembungan harga menurun

• Secara netto, subsidi Rp. 6000 bagi yang berhak/ eligible

tanpa penurunan bagi yang tidak berhak/ ineligible.

• Sosialisasi tambahan meningkatkan subsidi dan

kepuasan penerima manfaat

• Dicapai dengan hanya fasilitasi 2-3 mandays, 3 poster per

dusun.

Masukan untuk Kebijakan

50

• Pencetakan harga Raskin pada kartu meningkatkan

keefektifannya

• Ketika digabungkan dengan sosialisasi tambahan, efek

jangka pendek tetap ada hingga jangka menengah

• Distribusi kartu hanya kepada 10% orang termiskin

mungkin menjadi cara yang efektif untuk

meningkatkan penyasaran

• Awalnya, decile penduduk termiskin melaporkan kepuasan

lebih rendah dan tidak ada perbedaan pada take-up

• Namun, pada survei terakhir mereka melaporkan subsidi

yang lebih tinggi dan kepuasan lebih tinggi di desa dengan

sosialisasi tambahan

Masukan untuk Kebijakan (lanjutan.)

51

• Penggunaan kupon berpotensi efektif ketika dilengkapi

dengan sosialisasi tambahan

• Dalam jangka menengah, efek variasi kartu tergantung

pada sosialisasi tambahan program tersebut.

• Ini berlaku untuk pencetakan harga kupon, dan

targeting 10% orang termiskin

Masukan untuk Kebijakan (lanjutan.)

Policy Scale-up

52

Kartu Perlindungan Sosial (KPS)

53

• TNP2K meningkatkan Kartu Raskin menjadi Kartu Perlindungan

Sosial (KPS).

• Hingga Juni 2013, kartu KPS telah didistribusikan secara nasional

kepada 15.5 juta keluarga (65.6 juta orang).

• Kartu dapat digunakan sebagai kartu Bantuan Langsung Sementara

Masyarakat (BLSM); kartu Bantuan Siswa Miskin (BSM); dan Raskin.

TERIMA KASIH

54