Evaluasi Program ROI

Model Evaluasi Program Pengembangan Kirkpatrick (Reaction, Learning, Behavior, Result & ROI)

by: Jack J. Phillips

Oleh:

Aris Try Andreas Putra

Mahasiswa Program Penelitian & Evaluasi Pendidikan PPs Universitas Negeri Jakarta Angkatan

2011, email: [email protected]

A. Pengantar

Pelatihan merupakan salah satu kebutuhan yang penting bagi

keberlangsungan sebuah institusi/ lembaga. Beberapa alasan yang mendasari hal

ini adalah adanya pandangan dan hasil-hasil penelitian yang mengatakan bahwa

pelatihan dapat meningkatkan nilai tambah bagi seorang dan bukan saja menjadi

suatu tujuan untuk mempengaruhi kinerja jangka pendek. Selain itu masyarakat

dibeberapa negara, termasuk indonesia berpandangan bahwa terdapat hubungan

positif antara pelatihan dengan pendidikan. Institusi-institusi pendidikan juga

sering memilih pelatihan sebagai salah satu strategi untuk meningkatkan kualitas

kinerja pendidik dalam tenaga kependidikan dalam rangka mencapai tujuan

pendidikan.

Sayangnya investasi yang besar untuk program pelatihan terkadang tidak

diikuti dengan efektifitas dan evaluasi pelatihanya itu sendiri. Secara khusus,

Kirkpatrick (2006) mengemukakan alasan mengapa suatu pelatihan perlu

dievaluasi. Pertama, evaluasi dilakukan untuk mengetahui apakah pelatihan dapat

memberikan kontribusi terhadap pencapaian tujuan organisasi atau tidak. Kedua,

pelatihan juga perlu dievaluasi untuk memutuskan apakah program pelatihan

tersebut perlu dilanjutkan atau tidak. Ketiga, evaluasi pelatihan digunakan untuk

mendapatkan informasi mengenai bagaimana peningkatan dan pengembangan

program pelatihan yang akan datang. Oleh karena itu, dana yang telah

diinvestasikan dalam jumlah besar untuk suatu program pelatihan mendorong

munculnya suatu kebutuhan akan proses evaluasi terhadap keefektifan program

Aris Try Andreas Putra@ PPs UNJ – PEP 2012 1

mailto:[email protected]

pelatihan yang dilaksanakan. Untuk tujuan evaluasi ini, pengukuran menjadi

sesuatu yang penting.

Untuk mengevaluasi program pelatihan yang telah dilakukan oleh suatu

lembaga atau institusi, banyak model yang dipakai oleh para evaluator seperti,

evaluasi program model CIRO, model Kirkpatrick, model pengembangan kirkptrick

dan sebagainya. Namun dalam paper ini, penulis hanya akan menyajikan evaluasi

program pelatihan pengembangan kirkpatrick yang dirumuskan oleh Jack J.

Phillips beserta implementasinya dalam dunia pendidikan.

B. Pengertian dan Dasar Perlunya Evaluasi Pelatihan

1. Pengertian

Menurut Noe (2002) Evaluasi pelatihan merupakan proses mengumpulkan

hasil-hasil yang diperlukan untuk menentukan apakah suatu pelatihan efektif atau

tidak. Alvarez, evaluasi pelatihan adalah teknik pengukuran untuk mengetahui

sejauh mana mana program pelatihan memenuhi tujuan-tujuan yang diinginkan.

sBerdasarkan penjelasan di atas, dapat disimpulkan bahwa evaluasi pelatihan

berfokus pada hasil-hasil pelatihan yang kemudian dibandingkan dengan tujuan

awal penyelenggaraan program pelatihan.

2. Dasar Perlunya Evaluasi Pelatihan

Menurut Jack J. Phillips (1997), ada beberapa alasan mengapa sebuah

perusahaan melakukan evaluasi pelatihan. Pertama, evaluasi program pelatihan

dapat memberikan diagnostik kepada institusi/organisasi tentang bentuk revisi

yang harus dilakukan terhadap program pelatihan yang telah berjalan agar

mampu untuk mencapa tujuan yang diinginkan. Kedua, evaluasi program

pelatihan dapat memeberikan keuntungan yang positif, dan ketiga evaluasi

program pelatihan akan mempengaruhi keputusan untuk menentukan alternatif

program dan peserta yang akan dipersiapkan untuk masa yang akan datang.

Singkatnya adalah, evaluasi pelatihan memberikan sebuah cara untuk memahami

investasi yang dihasilkan dari pelatihan dan memberikan informasi yang

diperlukan untuk meningkatkan pelatihan. Jika instutusi tertentu tidak

mendapatkan tingkat pengembalian yang cukup dari investasi itu, maka

perusahaan berkemungkinan mengurangi investasi program pelatihan itu atau


mencari cara lain untuk memperbaiki program pelatihan tersebut. Dengan

demikian penyelenggaraan pelatihan tidak hanya sekedar pelatihan saja, tetapi

dengan jutaan dana yang telah dikeluarkan pelatihan dapat meberikan manfaat

bagi individu dan perusahaan.

C. Kriteria yang Digunakan untuk Evaluasi dan Efektivitas Pelatihan

1. Kriteria Evaluasi Pelatihan

Training outcome atau kriteria merujuk pada ukuran-ukuran yang pelatih

gunakan untuk mengevaluasi suatu program pelatihan. Banyak praktisi dan

peneliti yang berpendapat bahwa kriteria yang ada dalam model evaluasi empat

level kirkpatrick terlalu sederhana. Untuk itu dikembangkan beberapa kriteria

tambahan seperti motivasi dan Return of Investment (ROI) sebagai pelengkap

kriteria dasar yang sudah ada dalam model awal evaluasi pelatihan kirkpatrick,

yang dirumuskan oleh Jack J. Phillips. Berikut ini beberapa kriteria yang

digunakan untuk mengukur pelatihan:

1. Affective out come, yang meliputi motivasi, reaksi dan keputusan partisipan

akan program pelatihan

2. Cognitive outcome, yaitu perolehan pengetahuan akibat pelatihan

3. Skill-based outcome, yaitu peningkatan perilaku juga kemampuan serta

keterampilan akibat pelatihan

4. Result, hasil-hasil bisnis yang dicapai oleh organisasi

5. Return of Investment (ROI), merujuk pada perbandingan manfaat moneter

dari suatu pelatihan dengan biaya pelatihan.

Dengan mengetahui hasil-hasil pelatihan dari evaluasi pelatihan maka

dapat diketahui sampai sejauh mana pelatihan memberikan keefektivisannya.

2. Evektivitas Pelatihan

Pada umumnya suatu program pelatihan dikatakan efektif jika hasil dari

pelatihan itu dapat memberikan manfaat bagi peserta dan perusahaan. Manfaat

bagi peserta pelatihan dapat mencakup pembelajaran, keahlian, perubahan

perilaku baru, sedangkan manfaat bagi perusahaan adalah dapat mencakup

peningkaan penjualan dan peningkatan kepuasan konsumen. Namun pencapaian


keefektivitasan dari pelatihan tidak hanya sampai disitu. Menurut Alvarez et. Al,

efektivitas dari suatu pelatihan merupakan pendekatan teoritikal untuk memahami

hasil yang diperoleh akibat suatu program pelatihan. Fokus efektivitas pelatihan

terletak pada sistem pembelajaran secara keseluruhan, sehingga temuan-temuan

dalam keefektivitasan dalam pelatihan menunjukan bahwa mengapa ada hasil-

hasil yang dapat mencapai tujua pelatihan dan mengapa ada hasil yang tidak

mencapai tujuan.

Efektivitas pelatihan tidak hanya dilihat dari hasil pelatihan yang dirasakan

individu ataupun bagi organisasi. Efektivitas pelatihan dipengaruhi oleh proses

sebelum diselenggarakannya pelatihan selama penyelenggaraan sampai sesudah

pelatihan. Dengan demikian langkah awal dalam proses penyelenggaraan

pelatihan, yaitu analisis kebutuhan pelatihan merupakan faktor penting bagi

efektivitas pelatihan. Berangkat dari analisis kebutuhan pelatihan tersebut

selanjutnya dapat menentukan materi, metode pelatihan yang tepat.

D. Model Evaluasi Pengembangan Kirkparick oleh Jack J Phillips (Reaction, Learning, Behavior, Result & ROI)

1. Model Pengembangan Krikpatrick

Model evaluasi pengembangan kirkpatrick yang dirumuskan oleh Jack J.

Philips memuat komponen-komponen sebagai berikut:

1. Reaction (reaksi) adalah level pertama dari evaluasi pelatihan

pengembangan krikpatrick, yang berguna untuk mengetahui tingkat

kepuasan dan reaksi dari peserta pelatihan, antara lain berkenaan dengan:

penyelenggaraan pelatihan, proses pelatihan dan materi pelatihan.

2. Learning (belajar) adalah level ke dua evaluasi pengembangan kirkpatrick,

yang merupakan tahapan di mana peserta diuji secara tertulis untuk

mengetahui sejauh mana materi pelatihan telah diterima oleh mereka.

Dengan kata lain, evaluasi terhadap hasil pelatihan yang diantaranya:

pengetahuan, perubahan sikap dan psikomotorik peserta pelatihan.

Pengukuran dapat dilakukan selama atau setelah pelatihan.

3. Behavior (Perilaku) adalah level ketiga yang menggambarkan perilaku

peserta pelatihan setelah mengikuti program pelatihan yang ditunjukkan


pada tempat kerja/ tugas mereka. Pengukuran terhadap behavior biasanya

dilakukan setelah kembali ketempat kerja masing-masing (sekitar 1-3 bulan).

4. Result (hasil) adalah level ke empat, yang menggambarkan dampak

perubahan kinerja peserta pelatihan yang ditunjukkan pada lembaga tempat

kerja baik itu peningkatan produktivitas, prestasi dan sebagainya. Biasanya

pegukuran hasil dari pelatihan membutuhkan selang waktu setelah pelatihan

relatif lama, sesuai dengan dampk apa yang diharapkan oleh institusi.

5. Return On Investment (ROI), adalah suatu ukuran dalam bentuk keuntungan

moneter yang diperoleh oleh suatu organisasi setelah jangka waktu tertentu

sebagai timbal balik terhadap investasi suatu program pelatihan. ROI

dihitung berdasarkan estimasi atau data terhadap biaya maupun keuntungan

yang berhubungan dengan program pelatihan. Dengan memanfaatkan ROI

ini, unit bisnis dapat secara efektif mengalokasikan sumber daya yang ada

untuk meningkatkan kinerja dan mendorong keberhasilan suatu organisasi.

Dalam dunia pendidikan perhitungan ROI dapat dibandingkan dengan

mengkonversi data kinerja peserta pelatihan dengan mengansumsikannya

bahwa peningkatan kinerja merupakan aset yang tidak terhitung kepada nilai

moneter. empat langkah mengukur ROI pelatihan, yaitu: (1) mengisolasi

pengaruh pelatihan terhadap hal-hal diluar pelatihan, (2) mengkonversi

pengaruh-pengaruh pelatihan ke dalam bentuk moneter, (3) menghitung

biaya pelatihan, dan (4) membandingkan biaya pelatihan dengan nilai

tambah moneter yang diperoleh sebagai hasil pelatihan. Berikut ini gambar

Model ROI:

Sumber: Jack J Phillips, 1997


2. Menghitung Biaya Pelatihan

Tahap ini sering disebut sebagai analisis biaya-manfaat (cost-benefit

analysis). Analisis biaya-manfaat dalam perhitungan ROI adalah proses

menentukan nilai ekonomis dari suatu program pelatihan dengan menggunakan

metode akuntansi. Menentukan nilai ekonomis dari suatu program pelatihan

meliputi perhitungan biaya pelatihan (cost) dan hasil (benefits ) yang didapat

setelah mengikuti program pelatihan.

Dalam menghitung biaya suatu program pelatihan, jangan lupa untuk

memperhitungkan biaya- biaya tidak langsung, seperti penggunaan material,

peralatan, ruangan, dan sebagainya. Contoh biaya yang terlibat dalam program

pelatihan: Pengembangan modul-perancangan, penulisan, ilustrasi, validasi tes

dan instrumen evaluasi.

Membandingkan Biaya Pelatihan dengan Nilai Tambah Moneter, dengan

rumus ROI adalah sebagai berikut:

Keterangan:

1. Net Program Benefits adalah program benefits dikurangi total incurred

costs.

2. Program benefits merupakan sejumlah keuntungan yang diperoleh karena

elakukan investasi.

3. Total incurred costs merupakan biaya yang dikeluarkan sebagai investasi.

Rumus ROI ini diturunkan dari rumus BCR (Benefits/Cost Ratio).


Nilai ROI yang didapat ini kemudian dianalisis dan dimanfaatkan sebagai

salah satu hal penting dalam pengambilan keputusan maupun perbaikan dan

pengembangan program pelatihan.

Menurut Jack J. Phillips, salah satu metode yang paling mudah digunakan

adalah memperoleh data berdasarkan perkiraan dari participant (eks‐peserta)

training itu sendiri, yaitu dengan menggunakan metode Participant Estimate.

Efektivitas pendekatan ini terletak pada asumsi bahwa participant memiliki

kemampuan untuk menentukan atau memperkirakan seberapa besar

peningkatan kinerja yang dialaminya itu terkait dengan program training

yang diikutinya. Participant seharusnya merupakan pihak yang paling mengetahui

seberapa besar perubahan yang disebabkan oleh pengaplikasian program

training dalam pekerjaannya sehari‐hari.

Lebih jauh lagi, Phillips juga berpendapat bahwa meskipun hanya

merupakan estimasi, nilai yang diperoleh biasanya memiliki kredibilitas

yang tinggi, terutama mengingat participant berada di tengah‐tengah

perubahan atau peningkatan kinerja yang terjadi. Pemikiran ini pula, di

samping pertimbangan faktor biaya dan waktu, yang mendasari pemilihan

metode Participant Estimate. Sementara itu, terdapat pula kelemahan dari

pendekatan ini yaitu adanya unsur subyektivitas responden dalam memberikan

perkiraan besarnya kontribusi masing‐masing faktor. Hal yang dapat

dilakukan untuk mengurangi pengaruh subyektivitas ini adalah dengan

menanyakan seberapa jauh tingkat keyakinan (level of confidence) responden

dalam memberikan perkiraannya tersebut. Namun, sebelum menetapkan metode

mana yang akan digunakan, Phillips juga menekankan perlunya terlebih

dahulu diidentifikasi faktor‐faktor apa saja yang memiliki kontribusi terhadap

perubahan yang terjadi setelah program training diselenggarakan.

3. Mengkonversi Pengaruh-pengaruh Pelatihan ke dalam Nilai Moneter & Tahapannya

a. Mengkonversi Pengaruh-pengaruh Pelatihan ke dalam Nilai Moneter

Pengaruh atau nilai tambah yang diperoleh sebagai hasil dari program

pelatihan harus selalu diidentifikasi, dipilah, dan dikonversikan ke dalam bentuk


moneter. Perubahan terhadap kinerja karyawan sebaiknya dinilai dengan

melibatkan berbagai pihak seperti supervisor, direktur, manajer, dan pihak lain

dalam organisasi. Keputusan dengan melibatkan berbagai pihak akan jauh lebih

objektif ketimbang menyerahkan semua penilaian kepada Manajer Sumber Daya

Manusia.

Pengaruh dapat bersifat terlihat (tangible) atau tak terlihat (intangible), dan

biasanya disebut sebagai hard data dan soft data. Hard data bersifat kuantitatif,

statistikal, berorientasi angka dan dengan mudah dapat dikonversikan ke dalam

bentuk moneter. Soft data lebih bersifat kualitatif dan lebih sulit diukur dan

dikonversikan ke dalam bentuk uang. Contoh soft data dapat berupa peningkatan

kepuasan kerja, peningkatan komitmen organisasi, peningkatan komunikasi antar

karyawan berbeda lini, dan sebagainya.

b. Tahap Konversi Data Menjadi Monetary Values

Mengonversi data business results ‐ yang diperoleh dari evaluasi Level 4

menjadi monetary values pada dasarnya merupakan tahap awal untuk

mengekspresikan dampak training dalam ukuran finansial. Sebagaimana telah

dikemukakan sebelumnya, pengekspresian dalam ukuran finansial ini telah

menjadi bahan perdebatan para peneliti mengenai mungkin tidaknya hal

tersebut dilakukan, meskipun pada umumnya mereka sepakat bahwa

evaluasi tentang efektivitas training memang akan memberikan hasil yang

lebih nyata bagi perusahaan apabila dapat diukur secara finansial.

Jack J. Phillips (2002) membedakan business results dalam dua

kategori data, yaitu hard data dan soft data. Hard data merupakan pengukuran‐

pengukuran kinerja usaha yang umum digunakan serta memiliki obyektivitas

yang tinggi dan relatif lebih mudah diukur. Menurutnya, contoh hard data

antara lain output yang dihasilkan, tingkat penjualan, biaya, atau waktu kerja

yang digunakan. Sementara itu, soft data lebih subyektif, sukar untuk

dikuantifisir, dan memiliki tingkat kepercayaan yang lebih rendah dibandingkan

dengan hard data. Contoh soft data antara lain tingkat kepuasan kerja,

loyalitas pegawai, tingkat kehadiran pegawai, dan lain‐lain.


Lebih jauh lagi, Phillips juga mengemukakan 4 (empat) langkah

konversi data kinerja dinilai penting sebagai data moneter, sebagai berikut:

1. Menentukan ukuran kinerja yang dipengaruhi oleh program training.

2. Menentukan nilai dari setiap unit ukuran tersebut = (V).

3. Menentukan peningkatan/perubahan kinerja yang terjadi = (ΔP).

4. Langkah 4: Menghitung nilai peningkatan kinerja = (V x ΔP).

Adapun tahap-tahap kegiatan evaluasi pelatihan dengan model

pengembangan Kirkpatrick adalah sebagai berikut:

Sumber: Jack J. Phillips

E. Contoh Model Evaluasi Pengembangan Kirkpatrick pada Program Pelatihan penguatan Kinerja Pengawas

Penulis mencontohkan model evalusi pelatihan pengembangan Kirkpatric

pada pelatihan penguatan kinerja pengawas pada Dinas Pendidikan dan

Kebudayaan Kabupaten Muna, Sulawesi Tenggara. Adapun evaluasi program

pengawas menggunakan model evaluasi pelatihan pengembangan Kirkpatrick

(dirumuskan oleh Jack J Phillips) sebagai berikut:


Tingkatan Evaluasi

Komponen Sumber DataTeknik dan Istrumen

pengumpulan DataReaction (Reaksi) Reaksi Peserta

Terhadap:1. Penyelenggaraan

dan pelayanan panitia pelatihan

2. Kurikulum pelatihan

3. Materi, Trainer Pelatihan

4. Sarana dan Media Pelatihan

Peserta Pelatihan (Pengawas)

Quesioner (Daftar Angket)

Learning (Belajar/ Pembelajaran)

Peningkatan terhadap:1. Pengetahuan

(informasi)2. Keteramplan (skill)3. Sikap

Peserta Pelatihan (Pengawas)

Tes:1. Pengetahuan2. Kinerja/

performance3. Sikap

Behavior (Perilaku) Perilaku kerja yang diterapkan pada lingkungan kerja:1. Sikap2. Mental3. Moivasi Kerja

1. Peserta Pelatihan (Pengawas)

2. Atasan peserta3. Rekanan

Peserta

Observasi (lembar observasi)Wawancara (pedoman wawancara)

Result (Hasil) Dampak pelatihan:1. Prestasi2. Peningkatan

Kinerja sekolah

1. Peserta Pelatihan (Pengawas)

2. Atasan peserta3. Rekanan

Peserta

1. Wawancara (pedoman wawancara)

2. Studi Dokumentasi (kearsipan dan dokumen-dokumen)

Return on Investmen (ROI)

Membandingkan biaya pelatihan dengan hasil kinerja pengawas dalam bentuk persentase. Konversi data kinerja kepada data moneter

1. Penyelenggara pelatihan

2. Peserta pelatihan

1. Dokumentasi (daftar kerasipan)

2. Quesioner (Dafar angket)

Selanjutnya model perhitungan dengan model akuntansi (statistik)

F. Penutup

Salah satu model evaluasi program pelatihan adalah dengan

menggunakan model evaluasi pengembangan empat level Kirkpatrick oleh Jack J.

Phillips. Pelatihan pada intinya bertujuan mengoptimalkan karyawan dalam

menjalankan tugasnya sehari-hari dengan meningkatkan pengetahuan,

keterampilan dan sikap kerja melalui proses belajar. Untuk menilai keefektifan


suatu pelatihan perlu dilakukan evaluasi pelatihan. Terdapat beberapa kriteria

yang dapat digunakan dalam mengevaluasi pelatihan antara lain reaksi,

pembelajaran, perilaku, hasil dan ROI (Return on Investment). Menurut beberapa

literatur, teknik evaluasi dengan kriteria ROI merupakan teknik yang terbaik

dikarenakan teknik tersebut dinilai paling objektif dibanding empat kriteria lainnya

karena dominasi unsur kuantitatif pada metode tersebut. ROI merupakan suatu

ukuran yang diperoleh oleh suatu organisasi setelah jangka waktu tertentu atas

investasi suatu program pelatihan. ROI dihitung berdasarkan estimasi atau data

terhadap biaya ataupun keuntungan atas program pelatihan. Tujuannya agar unit

bisnis dapat mengalokasikan sumber daya yang ada secara efektif agar dapat

meningkatkan kinerja dan keberhasilan suatu organisasi.

Namun, pada akhirnya tidak ada satu pun cara terbaik untuk

mengevaluasi program pelatihan. Yang dapat dan penting dilakukan hanyalah

berusaha mengumpulkan secara lengkap data sebelum dan/atau sesudah

pelatihan agar dapat mengevaluasi program pelatihan secara akurat. Selain itu,

faktor biaya; tujuan pelatihan; waktu yang tersedia; dan tingkat akurasi yang

diinginkan juga perlu menjadi bahan pertimbangan dalam memilih desain evaluasi

pelatihan.

G. DAFTAR REFERENSI

Fitzpatrick, Jody L, Sanders, James R, Worthen, Blaine R, Program Evaluation Alternative Approaches and Practical Guidelines, Pearson Education, 2004

Kirkpatrick, Donald L., and Kirkpatrick, J. D. Evaluating Training Programs. San Francisco: Berrett-Koehle, 2006

Noe, Raymond A. Employee Training and Development. 2nd ed. New York: McGraw-Hill, 2002

Phillips, Jack J., Return on Investment in Training and Performance Improvement Programs. Houston: Gulf Publishing Company, 1997.

Sutikno, Muzayanah, Modul kuliah Evaluasi Program, Jakarta, 2011


Documents

Evaluasi Program ROI