Upload
hacong
View
251
Download
0
Embed Size (px)
Citation preview
42
Universitas Indonesia
3. METODOLOGI PENELITIAN
3.1. Pendekatan Kualitatif dan Wawancara
Penelitian yang bertujuan untuk mengevaluasi kinerja BKM Bina Budi
Mulya ini menggunakan pendekatan kualitatif melalui analisis kuantitatif.
Pendekatan kualitatif diharapkan mampu menghasilkan uraian yang mendalam
tentang ucapan, tulisan, dan atau perilaku yang dapat diamati dari suatu
individu, kelompok, masyarakat, dan atau organisasi tertentu dalam suatu seting
konteks tertentu yang dikaji dari sudut pandang yang utuh, komprehensif, dan
holistik.13
Selain pendekatan kualitatif, dilakukan juga pendekatan kuantitatif yang
akan memberikan gambaran lebih akurat mengenai deskripsi wilayah, profil desa
dan karakteristik objek penelitian. Pendekatan kuantitatif dilakukan dengan
dukungan data statistik sekunder yang diperoleh dari hasil survey yang dilakukan
sebelumnya, text book, literatur, artikel, situs-situs internet, laporan kegiatan di
lokasi penelitian, jurnal penelitian, dan laporan hasil penelitian yang berhubungan
dengan objek penelitian. Metodologi kuantitatif yang dipandang dapat mendukung
analisis penelitian ini adalah Balance Scorecard.
Alasan digunakannya pendekatan kuantitatif ini adalah diharapkan dapat
melengkapi beberapa kelemahan yang dapat terjadi melalui pendekatan kualitatif,
seperti antara lain objektivitas, validitas, dan reabilitas. Dalam sebuah penelitian
kualitatif, ketiga aspek tersebut merupakan tantangan terbesar untuk mencapai
sebuah penelitian kualitatif yang berkualitas. Untuk mendapatkan objektivitas,
diperlukan kemampuan untuk mampu menanggalkan aspek subjektivitas, baik
subjektivitas yang datang dari pihak peneliti, maupun subjektivitas yang datang dari
sasaran penelitian. Tingkat validitas sebuah penelitian kualitatif juga sulit
didapatkan jika alat ukur yang digunakan tidak sesuai dengan kondisi di lapangan,
sehingga reabilitas penelitian, yaitu seberapa besar suatu penelitian mendekati
keadaan sebenarnya pun akan sulit didapatkan.14
13 Hakekat dan Pengertian Penelitian, www.uny.ac.id/akademik/sharefile/files 14 Kupas Tuntas Penelitian Kualitatif,
42 Evaluasi kinerja kelembagaan..., Adwitiya Raditharini, FE UI, 2009
43
Universitas Indonesia
Pada penelitian ini metode wawancara mendalam merupakan salah satu
teknik yang digunakan untuk mengumpulkan data dan informasi. Penggunaan
metode ini didasarkan pada dua alasan, Pertama, dengan wawancara, peneliti dapat
menggali tidak hanya apa yang diketahui dan dialami subjek yang diteliti, tetapi
juga apa yang tersembunyi jauh di dalam diri subjek penelitian. Kedua, apa yang
ditanyakan kepada informan bisa mencakup hal-hal yang bersifat lintas waktu, yang
berkaitan dengan masa lampau, masa sekarang, dan juga masa mendatang.
Penelusuran literatur juga dilakukan melalui dokumen milik BKM seperti Program
Jangka Menengah Penanggulangan Kemiskinan (PJM Pronangkis) BKM Bina Budi
Mulya, dan Laporan Review Keuangan BKM Bina Budi Mulya. Dokumen lain
maupun review terkait yang dilakukan oleh pihak P2KP juga digunakan sebagai
referensi dalam pengumpulan data dan informasi.
Wawancara yang dilakukan adalah wawancara mendalam secara tidak
terstruktur, namun peneliti memiliki lembar acuan yang dipersiapkan untuk
mengarahkan pertanyaan-pertanyaan wawancara (Lampiran 17) . Dalam hal ini
peneliti dapat mengajukan pertanyaan-pertanyaan secara lebih bebas dan leluasa,
tanpa terikat oleh suatu susunan pertanyaan yang telah dipersiapkan sebelumnya.
Dengan teknik ini peneliti berharap wawancara berlangsung luwes; arahnya
bisa lebih terbuka, percakapan tidak membuat jenuh kedua belah pihak, sehingga
diperoleh informasi yang lebih kaya. Penentuan bobot dilakukan dengan analisis
subjektif peneliti berdasarkan hasil wawancara dengan seluruh responden.
Wawancara di lokasi penelitian melibatkan kurang lebih sepuluh responden kunci
yang berasal dari BKM Bina Budi Mulya, Fasilitator Kelurahan, Koordinator Kota,
dan juga wakil masyarakat penerima manfaat, untuk periode pengumpulan data
kurang lebih selama 4 bulan, dari bulan September sampai dengan Desember 2008.
Proses wawancara mendalam diawali dengan pengantar. Pada pengantar ini,
secara terbuka dan jujur peneliti memperkenalkan diri dan menjelaskan tujuan dari
wawancara. Selanjutnya peneliti menyampaikan pertanyaan yang bersifat luas, dan
diakhiri dengan bertanyaan terbuka. Pertanyaan diajukan dengan sesuai dengan
lembaran acuan yang telah dibuat sebelumnya (Lampiran 17), mampu mengarahkan
Evaluasi kinerja kelembagaan..., Adwitiya Raditharini, FE UI, 2009
44
Universitas Indonesia
responden untuk memberi informasi mengenai aspek-aspek mencakup kinerja
kelembagaan BKM Bina Budi Mulya.
Pada penelitian ini yang menjadi informan atau narasumber adalah mereka
yang mempunyai informasi lebih besar dan lebih menyeluruh berkaitan erat dengan
P2KP di Kelurahan Pancoran Mas Kota Depok. Pertama adalah narasumber yang
berasal dari pihak luar yang melakukan intervensi penanggulangan kemiskinan di
kelurahan tersebut, yaitu fasilitator kelurahan. Kemudian kedua, kepada warga desa
yang menjadi wakil masyarakat dalam upaya mewujudkan program pemberdayaan
P2KP ini, yaitu anggota BKM Bina Budi Mulya. Terakhir kepada warga masyarakat
yang menerima manfaat langsung dari P2KP itu sendiri.
Untuk tujuan mendapatkan data penilaian kinerja melalui pendekatan
Balance Scorecard, diperlukan adanya indikator-indikator keberhasilan program.
Oleh karena itu, melalui teknik wawancara mendalam dengan para informan yang
diarahkan sesuai dengan indikator generik dari sebuah organisasi. Analisis
dilakukan setelah data hasil wawancara didapatkan, dengan kriteria dan indikator-
indikator hasil dari penilaian subjektif yang dilakukan peneliti berdasar data yang
telah tersedia. Berdasarkan dokumen-dokumen terkait (khususnya hasil rekapitulasi
penilaian indikator kinerja BKM dan wawancara informan kunci), indikator kunci
untuk keefektifan kinerja BKM antara lain adalah kapasitas kelembagaan, kapasitas
perencanaan dan implementasi program, kapasitas pengelolaan keuangan dan
derajat akuntabilitas, kapasitas pengorganisasian relawan dan Kelompok Swadaya
Masyarakat (KSM), serta kapasitas kemitraan atau chanelling.
3.2. Pengukuran dengan Balance Scorecard
Penelitian diawali dengan turun langsung ke lapangan di Kelurahan
Pancoran Mas, Kecamatan Pancoran Mas, Kota Depok, pada lembaga BKM ’Bina
Budi Mulya’. Dari kegiatan ini akan diperoleh informasi mengenai pengukuran
kinerja yang dilakukan oleh organisasi selama ini untuk dilakukan pendeskripsian
sistem pengukuran kinerja organisasi berdasarkan data-data yang diperoleh. Data
yang diperoleh merupakan data primer hasil wawancara langsung dengan
narasumber dan data sekunder yang berupa dokumen hasil survey yang dilakukan
Evaluasi kinerja kelembagaan..., Adwitiya Raditharini, FE UI, 2009
45
Universitas Indonesia
Departemen Cipta Karya. Hasil review kelembagaan BKM yang secara periodik
dilakukan oleh unit monitoring dan evaluasi P2K juga merupakan sumber data yang
digunakan dalam penulisan penelitian ini (Lampiran 1).
Dalam Gambar 3.1 dapat dilihat bahwa proses pembangunan kerangka
Balanced Scorecard dimulai dengan menerjemahkan visi, misi, serta strategi yang
telah ditetapkan ke dalam tujuan strategis perusahaan (Mulyadi, 2001). Dalam
kerangka ini Balanced Scorecard memerlukan data-data seperti visi, misi, tujuan
dan strategi organisasi yang dihasilkan setelah tahapan perumusan strategi yaitu
analisis terhadap lingkungan internal eksternal dan lingkungan makro.
Data-data yang telah diperoleh kemudian diterjemahkankan ke dalam
sasaran strategis berdasarkan keempat perspektif Balanced Scorecard. Keempat
perspektif Balanced Scorecard menjadi lini utama pola pikir dari konsep Balanced
Scorecard dan merupakan tonggak pilar utama pelaksanaan metode tersebut.
Balanced Scorecard mewajibkan personel perusahaan mengarahkan sasaran-sasaran
strategik pada perspektif nonkeuangan, baik secara langsung maupun tidak
langsung, untuk mewujudkan sasaran strategik di perspektif keuangan, yaitu
menghasilkan sustainable outstanding financial return.
Sasaran strategis ini berupa pernyataan kualitatif mengenai kondisi yang
berusaha diwujudkan oleh organisasi di masa depan. Setelah sasaran strategis
ditetapkan, langkah selanjutnya adalah menentukan ukuran strategis yang
memungkinkan sasaran-sasaran tersebut menjadi terukur (measure), dapat dikelola,
hingga dapat diwujudkan. Ukuran strategis yang dilakukan dapat menggunakan Key
Performance Indicators (KPI) yang akan memberikan indikator-indikator penting
dalam sebuah organisasi.
KPI berbentuk matriks yang dapat digunakan untuk membantu organisasi
mengukur dan menetapkan perkembangan dari tujuan organisasi tersebut. Pada saat
organisasi tersebut dapat menganalisa misinya, mengidentifikasi semua stakeholder-
nya, dan dapat menentukan tujuannya, maka organisasi tersebut harus memiliki cara
untuk mengukur perkembangannya terkait dengan tujuan organisasi.15 KPI
merupakan pengukuran yang dikuantitatifkan, dapat disiapkan sebelumnya, dan
dapat menunjukkan critical success factor dari sebuah organisasi. KPI harus dapat
15 Key Performance Indicators, Wikipedia The Free Encyclopedia.
Evaluasi kinerja kelembagaan..., Adwitiya Raditharini, FE UI, 2009
46
Universitas Indonesia
merefleksikan tujuan organisasi, dan biasanya merupakan pertimbangan jangka
panjang. Karena definisi dari organisasi tersebut tidak akan berubah terlalu sering.
Indikator dalam KPI akan berubah seiring dengan perubahan yang tujaun
organisasi.16
Dalam menerapkan KPI sebagai sebuah alat untuk monitoring dan evaluasi
diperlukan beberapa kriteria berikut ini:17
• Langsung kepada sasaran (be direct) dan tidak menggunakan perhitungan yang
rumit
• Penilaian harus secara objektif (be objective)
• Penilaian cukup, tidak berlebihan, dan seimbang (be adequate)
• Sesuai dengan kenyataan atau prakteknya (be practical)
• Penilaian yang dilakukan dapat diandalkan atau dapat dipercaya (be reliable)
KPI dapat digunakan untuk beragam organisasi dengan sasaran tertentu.
Sebuah sekolah dapat menggunakan KPI dengan fokus kepada tingkat kelulusan
siswanya. Sebuah Bagian Pelayanan Pelanggan juga dapat menggunakan KPI yang
memfokuskan pada persentase pelanggan yang menjawab telepon pada panggilan
pertama Dalam penelitian ini, KPI sebagai bagian dari pendekatan Balance
Scorecard digunakan untuk mengukur sejauh mana kinerja BKM dalam P2KP. KPI
mengukur secara kuantitatif berdasar hasil wawancara dan survey yang melibatkan
masyarakat penerima manfaat program dan juga fasilitator.
Organisasi lebih lanjut menetapkan target yang dijadikan pertanda
keberhasilan pencapaian sasaran strategis tersebut. Setelah penetapan target,
langkah selanjutnya adalah menentukan inisiatif strategis. Inisiatif strategis
merupakan langkah-langkah strategis (action program) yang dipilih untuk
mewujudkan sasaran startegis perusahaan. Penetapan target dan inisiatif strategis
sepenuhnya berdasarkan wewenang dan pertimbangan manajemen perusahaan.
Langkah selanjutnya adalah melakukan perhitungan terhadap pembobotan pada
masing-masing perspektif Balanced Scorecard beserta sasaran dan ukuran
strategisnya. Kemudian dilakukan pengukuran terhadap setiap aspek kinerja yang 16 F. John Reh, Key Performance Indicators, You Guide to Management, http://management.about.com/cs/generalmanagement/a/keyperfindic_2.htm 17 Developing Key Performance Indicators in Projects, http://www.visitask.com/Developing-key-performance-indicators.asp
Evaluasi kinerja kelembagaan..., Adwitiya Raditharini, FE UI, 2009
47
Universitas Indonesia
dapat dan mungkin diukur dengan Balanced Scorecard untuk memperoleh
gambaran umum kinerja BKM (Bina Budi Mulya, Pancoran Mas, Depok), pada
periode yang dikaji dalam penelitian.
Hasil pengukuran kemudian diidentifikasi dan dianalisis sehingga dapat
diketahui aspek-aspek mana yang kurang mendukung untuk pencapaian visi misi,
sehingga nantinya akan dilakukan tindakan perbaikan. Serangkaian proses ini pada
akhirnya akan menghasilkan sistem pengukuran kinerja organisasi dengan konsep
Balanced Scorecard dengan hasil pengukuran berupa kartu skor yang berisikan skor
penilaian terhadap tiap perspektif yang ada (Gambar 3.1).
Dari beberapa penelitian yang menggunakan metode Balance Scorecard,
didapatkan beberapa kelemahan metode ini yaitu tingkat subjektivitas yang tinggi.
Terkadang terjadi “negosiasi“ dalam penentuan improvement goal dan tidak
berdasarkan stakeholder requirement, fundamental process limits dan improvement
process capabilities. Istilah negosiasi ini dalam prakteknya diistilahkan dengan
“penghijauan“ skor, artinya supaya kinerjanya terlihat bagus bisa jadi target yang
diturunkan atau time frame-nya disesuaikan. Selain itu tidak ada metode dan sistem
improvement yang baku dalam penerapan balance scorecard.18 Selain itu menurut
Lee et.,al dalam Purwanto, 2003 beberapa kelemahan yang perlu dicermati dalam
penelitian Balance Scorecard antara lain adalah; (1) perangkat Balance Scorecard
akan lebih efektif mengukur implementasi strategi daripada mengukur penentuan
strategi, dan (2) tidak dapat mengidentifikasi kriteria penerima manfaat dari
program yang dijalankan, walaupun mampu berperan dalam memperkuat
keterkaitan antara inisiatif perbaikan hubungan masyarakat penerima manfaat
dengan strategi organisasi. Kelemahan ini akan menjadi perhatian saat
survey/wawancara ke lapangan.
18 Pernyataan konsultan Arthur M Schneiderman, senior examiner di Malcom Baldrige National Quality Award, dalam JSofian, Mengapa Penerapan Balance Scorecard Gagal, http://jsofian.wordpress.com/2007/04/07/mengapa-penerapan-balanced-scorecard-gagal/
Evaluasi kinerja kelembagaan..., Adwitiya Raditharini, FE UI, 2009
48
Universitas Indonesia
Gambar 3.1. Tahapan Analisis Balanced Scorecard
Visi dan Misi BKM Bina Budi Mulya
Sasaran Perspektif Pelanggan
Terjemahan visi dan misi organisasi ke dalam sasaran strategis pada empat perspektif Balanced Scorecard
Sasaran Perspektif
Proses Bisnis Internal
Sasaran Perspektif Keuangan
Sasaran Perspektif
Pembelajaran Pertumbuhan
Pembobotan tiap-tiap perspektif dan indikator (asaran dan ukuran)
Kinerja keseluruhan BKM Bina Budi Mulya
Pengukuran kinerja masing-masing perspektif Balanced Scorecard
Ukuran Strategis Target
Key Performance Indicators
Evaluasi kinerja kelembagaan..., Adwitiya Raditharini, FE UI, 2009
49
Universitas Indonesia
Observasi terlibat
Kepustakaan Studi Perbandingan dgn Penelitian lain
Pengolahan Data
Interpretasi
Kesimpulan
Foto kegiatan
Catatan Wawancara
Dokumen
Deskripsi Evaluatif
Gambar 3.2. Alur Analisis Deskripsi Evaluatif
3.3. Analisis Data
Analisis data adalah proses penyederhanaan data ke dalam bentuk yang lebih
mudah dibaca dan diinterpretasikan. Pengolahan dan analisis data pada penelitian
ini disesuaikan dengan tujuan dan permasalahan serta metode yang digunakan
dalam penelitian. Data yang diperoleh dari penelitian (baik data primer, data
sekunder, maupun informasi-informasi pendukung lainnya) akan diolah secara
manual dan dianalisa dengan menggunakan analisis:
a. Deskriptif Evaluatif
Digunakan untuk data-data kualitatif dari hasil wawancara dengan pihak BKM
dan informasi kualitatif lainnya yang diperoleh. penggunaan alat ini karena tidak
semua data diperoleh secara kuantitatif. Selain itu juga dapat memberikan
gambaran secara deskriptif tentang keadaan dan situasi BKM Bina Budi Mulya
pada saat periode penelitian. Hasil dari analisis data disajikan dalam bentuk
uraian, gambar atau bagan, berdasarkan konsep Balanced Scorecard. Urutan
analisis secara deskriptif evaluatif dapat dilihat pada Gambar 3.2.
b. Rasio
Digunakan untuk menilai baik buruknya kinerja organisasi dan faktor-faktor apa
saja yang mempengaruhi jalannya kegiatan BKM Bina Budi Mulya, Pancoran
Mas, Depok. Rasio yang digunakan dalam penelitian ini merupakan alat ukur
Evaluasi kinerja kelembagaan..., Adwitiya Raditharini, FE UI, 2009
50
Universitas Indonesia
yang digunakan dan dipilih oleh stakeholder terkait seperti fasilitator kelurahan,
anggota BKM, dan masyarakat untuk mencapai sasaran strategiknya, melalui
wawancara tidak terstruktur.
c. Tabulasi deskriptif
Data yang disusun dalam bentuk tabulasi diuraikan secara deskriptif. Digunakan
untuk menginterpretasikan data hasil wawancara dengan memindahkan data
nilai dari wawancara ke dalam tabulasi. Kemudian dipindahkan ke lembar kerja
untuk dianalisis berdasarkan metode analisis yang ditentukan.
Sebelum melakukan pengukuran terlebih dahulu harus ditentukan bobot atau
tingkat kepentingan organisasi terhadap masing-masing perspektif Balanced
Scorecard, sasaran-sasaran strategis, dan ukuran strategisnya. Pembobotan
dilakukan agar pengukuran kinerja memberikan indikasi yang lebih terperinci dan
terkait langsung dengan kepentingan organisasi. Semakin penting suatu perspektif,
sasaran, dan ukuran hasil bagi organisasi, semakin besar bobot yang diberikan.
Penentuan nilai bobot kepentingan dari tiap perspektif beserta sasaran strategis dan
ukuran hasil utamanya diberikan agar dapat menghasilkan skor untuk dibandingkan
tingkat kepentingannya satu sama lain. Pengukurannya adalah menggunakan
metode pairwise comparison. Metode ini digunakan untuk menilai bobot dari
masing-masing perspektif yang memiliki sasaran strategis di mana setiap sasaran
strategis memiliki ukuran hasil utama. Caranya adalah dengan membandingkan
antara satu perspektif dengan perspektif lainnya,
membandingkan sasaran strategis dengan sasaran lainnya dan membandingkan
antara ukuran hasil lainnya.
Langkah-langkah dalam pemberian bobot bagi masing masing perspektif,
sasaran, dan ukuran hasil utama adalah:
1. Melakukan perbandingan antar suatu elemen (perspektif, sasaran strategis, atau
ukuran hasil) dengan elemen lainnya yang disajikan dalam bentuk tabulasi
(Tabel 3.1). Perbandingan dilakukan dengan memberikan nilai pada skala 1
sampai 5.
1 : tidak penting
2 : kurang penting
Evaluasi kinerja kelembagaan..., Adwitiya Raditharini, FE UI, 2009
51
Universitas Indonesia
3: tingkat kepentingan sama
4 : lebih penting
5 : sangat penting
Nilai yang telah dipertimbangkan, kemudian diisikan pada sel Aij. Perbandingan
antara dua unsur elemen yang sama tidak diberi nilai. Untuk sasaran yang hanya
memiliki satu ukuran, maka bobot dari ukuran tersebut disamakan dengan bobot
dari sasarannya.
2. Memberikan nilai kebalikan dari perbandingan pada langkah satu untuk mengisi
sel Aji, misalnya nilai 2 untuk kebalikan dari nilai 4.
3. Menjumlahkan masing-masing nilai unsur elemen tiap baris dan tiap kolom,
kemudian menjumlahkan hasilnya.
4. Melakukan perhitungan bobot untuk masing-masing perspektif, sasaran
strategis, dan ukuran strategis balanced scorecard elemen dengan cara
membandingkan total nilai masing-masing elemen dengan jumlah total nilai lalu
dikalikan dengan persentase keseluruhan perspektif.
Tabel 3.1. Matriks Perbandingan Berpasangan
Perspektif/Sasaran Strategis/Ukuran Hasil
A1
A2
A3
...
Aj
∑
Bobot
A1 A12 A13 A1j A2 A21 A23 A2j A3 A31 A32 A3j ... Ai Ai1 Ai2 Ai3 Aij
Total
Perhitungan nilai bobot terhadap keempat perspektif Balanced Scorecard :
Bobot Ai = ( ∑ Ai / ∑ Aij ) Χ 100 % …………… (persamaan 1)
Setelah memperoleh pembobotan untuk masing-masing perspektif, kemudian
dilakukan pembobotan untuk masing-masing sasaran strategis dalam setiap
perspektif.
Bobot Ai = ( ∑ Ai / ∑ Aij ) Χ bobot setiap perspektif (%) …… (persamaan 2)
Kemudian dilakukan pembobotan untuk masing-masing ukuran strategis dari setiap
sasaran strategis.
Evaluasi kinerja kelembagaan..., Adwitiya Raditharini, FE UI, 2009
52
Universitas Indonesia
Bobot Ai = ( ∑ Ai / ∑ Aij ) Χ bobot setiap sasaran strategis (%)
…… (persamaan 3)
Setelah didapatkan keseluruhan bobot untuk ukuran strategis, barulah dapat
dilakukan pengukuran kinerja dengan Balanced Scorecard. Pengukuran dilakukan
dengan menghitung tingkat pencapaian ukuran hasil manajemen perusahaan selama
periode yang dikaji dalam penelitian dengan target yang telah ditetapkan oleh pihak
manajemen perusahaan sebelumnya.
Perhitungan nilai pencapaian ukuran hasil dalam Balanced Scorecard:
…………. (persamaan 4)
Setelah menghitung tingkat pencapaian, langkah selanjutnya adalah menghitung
skor kinerja yang dihasilkan dari masing-masing ukuran hasil. Skor kinerja
diperoleh dengan mengalikan tingkat pencapaian dengan bobot yang telah
ditetapkan. Total skor kinerja BKM Bina Budi Mulya, Pancoran Mas, Depok
diperoleh dengan menjumlahkan skor seluruh ukuran hasil yang digunakan.
Pencapaian =
Hasil yang diperoleh pada periode ( t )
Target
Χ 100%
Evaluasi kinerja kelembagaan..., Adwitiya Raditharini, FE UI, 2009