Lina Marliani
J-PAL Southeast Asia
Cara Pengacakan
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Ukuran Sampel
5. Kendala dan Tantangan
6. Evaluasi dari Awal sampai Akhir
7. Analisis Keefektifan Biaya
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Ukuran Sampel
5. Kendala dan Tantangan
6. Evaluasi dari Awal sampai Akhir
7. Analisis Keefektifan Biaya
• Tingkat pengacakan
• Kendala di lapangan
• Metode-metode pengacakan
• Variasi dalam kelompok perlakuan-kontrol
Ikhtisar Paparan
Tingkat Pengacakan: Opsi-opsi
Dua opsi dasar:
1. Pengacakan di tingkat perorangan / individu
2. Pengacakan di tingkat kelompok
“Cluster Randomized Trial”
Di tingkat manakah yang akan dilakukan pengacakan?
Tingkat Pengacakan: Perorangan?
Tingkat Pengacakan: Perorangan?
Tingkat Pengacakan: Kelas?
Tingkat Pengacakan: Kelas?
Tingkat Pengacakan: Sekolah?
Tingkat Pengacakan: Sekolah?
Bagaimana Memilih Tingkatannya?
• Karakteristik Perlakuan
– Bagaimana intervensi dilakukan?
– Seberapa luas dampaknya?
• Tingkat pengumpulan/ agregasi dari data yang ada
• Power calculation
• Secara umum, pengacakan lebih baik dilakukan pada tingkat
dimana perlakuan dilaksanakan
• Tingkat pengacakan
• Kendala nyata di lapangan
• Metode-metode Pengacakan
• Variasi dalam kelompok perlakuan-kontrol
Ikhtisar Paparan
Kendala: Sumber Daya
• Kebanyakan program memiliki keterbatasan sumber
daya
– Voucher, ruang untuk program pelatihan, anggaran
untuk fasilitator masyarakat
• Menghasilkan penerima (recipients) yang lebih layak
daripada layanan yang dimungkinkan oleh sumber daya
• Terbatasnya sumber daya dapat menjadi peluang
evaluasi
• Lotre bersifat sederhana, umum dan transparan
• Berguna ketika tidak ada alasan apriori untuk
mendiskriminasi
• Peserta mengetahui "pemenang" dan “yang kalah"
• Lotre sederhana dapat dianggap adil
Kendala: Keuntungan Politis
Kendala: Kontaminasi Spillovers/Crossovers
• Ingat bahwa kelompok kontrol seharusnya mendekati
counterfactual
• Jika kelompok kontrol berbeda dari counterfactual,
hasilnya dapat bias
• Ini dapat terjadi karena
• Spillovers
• Crossovers
Spillovers: Pengobatan Penyakit Cacingan
di Sekolah
• Positive spillovers?
• Negative spillovers?
Kendala: logistik
• Kendala-kendala logistik dalam rancangan penelitian
perlu dikenali.
• Misal: pengobatan penyakit cacingan oleh pekerja
kesehatan secara individu
– Banyaknya tanggung-jawab. Tak hanya pengobatan.
– Melayani kelompok kontrol maupun kelompok
perlakuan
– Prosedur berbeda untuk kelompok-kelompok
berbeda?
Kendala: keadilan, politik
Visibilitas status perlakuan:
• Pengacakan pada tingkat anak dalam kelas
• Pengacakan pada tingkat kelas dalam sekolah
• Pengacakan pada tingkat masyarakat
Kendala: Ukuran Sampel
• Program ini hanya cukup untuk melayani segelintir
masyarakat
• Terutama merupakan persoalan statistical power: terlalu
sedikitnya pengamatan artinya semakin kecilnya
kemungkinan mengukur dampak yang tepat
• Ukuran sampel yang diinginkan ditentukan melalui
power calculation (tidak dibahas dalam paparan ini)
• Tingkat pengacakan
• Kendala nyata di lapangan
• Metode-metode pengacakan
• Variasi dalam kelompok perlakuan-kontrol
Ikhtisar Paparan
Phase-in: Memanfaatkan ekspansi
• Pada akhirnya semua orang akan mendapatkan
perlakuan
• Cara yang alami untuk mengembangkan program yang
mengalami kendala sumber daya
• Apa yang menentukan sekolah, cabang, dsb. yang mana
yang akan dilaksanakan pada tahun berapa?
Rancangan Phase-in
Ronde 3 Perlakuan: 3/3
Kontrol: 0 1
1
1 1
1
1
1
1
1
1 1
1
1
1
2
2
2 2
2
2
2 2
2
2
2
2 2
2
2
2
3
3 3 3
3
3
3
3 3
3
3 3
3
3
3 3
3
Ronde 1 Perlakuan: 1/3
Kontrol: 2/3
Ronde 2 Perlakuan: 2/3
Kontrol: 1/3
Evaluasi Acak
berakhir
Rancangan Phase-in
Keuntungan
• Pada akhirnya setiap orang mendapat perlakuan
• Memberikan insentif untuk mempertahankan kontak
Kelemahan
• Dapat mempersulit estimasi efek jangka panjang
• Harus memperhatikan phase-in windows
• Apakah harapan akan sesuatu merubah perilaku
sekarang?
Rancangan Dorongan: Apa yang perlu dilakukan
ketika Anda tidak dapat mengacak akses
• Kadang pengacakan akses program tidak dimungkinkan
dari segi praktis maupun etika.
• Tetapi banyak program memiliki tingkat partisipasi
kurang dari 100%
• Mengacak dorongan untuk menerima perlakuan
Apakah “Dorongan” itu?
• Sesuatu yang membuat orang untuk lebih cenderung
menggunakan program daripada yang lain
• Bukan merupakan suatu “Perlakuan” dengan sendirinya
• Untuk siapa kita mengestimasi efek perlakuan?
• Perhatikan siapa yang menanggapi insentif
Rancangan Dorongan
Dorongan
Tidak dapat
dorongan
Berpartisipasi
Tidak berpartisipasi
Bandingkan yang mendapatkan
dorongan dengan yang tidak
mendapatkan dorongan
Jangan bandingkan
partisipan dengan non-
partisipan
Hal-hal ini terkorelasi
Metode-metode Pengacakan - Ikhtisar
Rancang-
an
Paling berguna
saat…
Keuntungan Kerugian
Lotre dasar
•Minat untuk
berpartisipasi
dalam program
berlebihan
•Semua orang
mengetahui
•Mudah dipahami
•Mudah
diimplementasikan
•Dapat
diimplementasikan di
masyarakat / publik
•Kelompok kontrol
mungkin tidak
kooperatif
•Differential attrition
Metode-metode Pengacakan - Ikhtisar
Rancang-
an
Paling berguna
saat…
Keuntungan Kerugian
Phase-In
•Pengembangan
selama kurun waktu
tertentu
•Setiap orang pada
akhirnya harus
mendapatkan
perlakuan
•Mudah dipahami
•Kendala mudah
dijelaskan
•Kelompok kontrol
patuh karena mereka
mengharapkan
keuntungan dari
perlakuan nantinya
•Antisipasi terhadap
perlakuan dapat
mempengaruhi perilaku
jangka pendek
•Sulit untuk mengukur
dampak jangka panjang
Metode-metode Pengacakan - Ikhtisar
Rancang-
an
Paling berguna
saat…
Keuntungan Kerugian
Dorongan
•Program harus
dibuka kepada
semua yang ingin
berpartisipasi
•Saat partisipasi
rendah, tetapi
mudah
ditingkatkan
dengan insentif
•Dapat mengacak
pada tingkat
individual walaupun
program tidak
dijalankan di tingkat
itu.
•Mengukur dampak
hanya pada mereka yang
menanggapi insentif
•Memerlukan banyak
dorongan untuk
meningkatkan
partisipasi (take-up)
•Dorongan itu sendiri
mungkin memiliki efek
langsung
• Tingkat pengackan
• Kendali nyata di lapangan
• Metode-metode pengacakan
• Variasi dalam kelompok perlakuan-kontrol
Ikhtisar Paparan
Lebih dari satu perlakuan
• Kadang pertanyaan intinya adalah untuk menentukan
dari sejumlah intervensi yang berbeda-beda
• Anda dapat mengacak program-program ini
• Apakah hal ini mengajarkan kita tentang manfaat dari
salah satu intervensi?
• Apakah Anda memiliki kelompok kontrol?
Perlakuan 1
Perlakuan 2
Perlakuan 3
Lebih dari satu perlakuan
Perlakuan Cross-cutting
• Menguji sejumlah komponen perlakuan yang berbeda
dalam beragam kombinasi
• Menguji apakah komponen-komponen tersebut saling
mensubstitusi atau melengkapi
• Kombinasi apakah yang paling hemat biaya?
• Keuntungan: win-win untuk operator, dapat membantu
menjawab pertanyaan, melebihi “dampak” sederhana
Beragam Tingkat Perlakuan
• Beberapa sekolah diberikan perlakuan yang penuh
– Semua anak mendapatkan pil
• Beberapa sekolah diberikan perlakuan sebagian
– 50% anak diberikan pil
• Menguji subsidi dan harga
Stratifikasi
• Tujuan: menyeimbangkan sampel Anda ketika Anda memiliki ukuran sampel kecil
• Apakah itu:
– Membagikan sampel ke dalam sub-group berbeda
– Memilih kelompok perlakuan dan kontrol dari masing-masing sub-group
• Apa yang terjadi jika Anda tidak melakukan stratifikasi?
Kapan Stratifikasi Dilakukan
• Lakukan stratifikasi pada variabel-variabel yang dapat memberikan dampak penting terhadap variabel hasil (outcome).
• Lakukan stratifikasi pada sub-group yang menarik bagi Anda (yang menurut Anda dapat berdampak berbeda terhadap program).
• Stratifikasi lebih penting pada dataset kecil
• Dapat menjadi rumit jika stratifikasi dilakukan pada terlalu banyak variabel.
• Semakin banyak stratifikasi dilakukan, hasil mennjadi kurang transparan.
Mekanisme Pengacakan
• Memerlukan kerangka
sampel (sample frame)
• Mengambil undian dari
sebuah topi/ ember
• Menggunakan angka acak
dari program spreadsheet
untuk menentukan observasi
secara acak
• Menggunakan program Stata
Sumber: Chris Blattman
UKURAN SAMPEL
Selanjutnya …