Membuat soal ujian tulis

Membuat Soal Ujian TulisOleh: H. Risanto Siswosudarmo

Bagian Obstetri dan Ginekologi

Fakultas Kedokteran UGM Yogyakarta

Pendahuluan

Ujian (assessment) merupakan bagian penting dalam proses belajar mengajar. Ada beberapa jenis ujian yakni ujian lisan, ujian tulis, ujian praktek di laboratorium dengan menggunakan bahan kimia dan sediaan laboratorium, ujian dengan menggunakan model, pasien simulasi sampai ujian ketrampilan dengan menggunakan pasien sebenarnya. Ujian tulis adalah salah satu bentuk ujian yang dibuat secara tertulis yang bertujuan terutama untuk mengetahui pencapaian seorang peserta didik dalam ranah kognitif. Ujian keterampilan baik dengan menggunakan model, maupun dengan pasien simulasi atau dengan menggunakan pasien sebenarnya digunakan untuk menguji ranah psikomotor. Penilaian ranah afektif lebih banyak dibuat melalui observasi, yang lebih dikenal dengan penilaian perilaku profesional.

Secara umum ujian digunakan untuk menilai apakah seorang peserta didik (mahasiswa) telah mencapai hasil (output) yang diharapkan yakni mencapai tingkat kompetensi tertentu sebagaimana yang telah ditetapkan dalam tujuan pembelajaran (learning objective) pada setiap area yang sedang dipelajari. Secara spesifik ujian bertujuan untuk: (1) Mengomunikasikan dengan peserta didik substansi apa yang penting, (2) Memotivasi peserta didik untuk lebih giat belajar, (3) Mengidentifikasi kekurangan sehingga perlu dilakukan remediasi, (4) Menentukan kelulusan atau kenaikan kelas, dan (5) Menilai di mana terdapat kelemahan atau kekurangan pada sebuah kurikulum.1Untuk maksud tersebut soal harus dibuat sedemikian rupa sehingga: (1) Isi soal harus sesuai dengan tujuan pembelajaran, (2) Topik yang penting mendapat pembobotan yang lebih besar dibandingkan topik yang kurang penting, (3) Waktu pengerjaan soal untuk setiap topik juga disesuaikan dengan derajat pentingnya sebuah topik, dan (4) Sampel soal harus representatif artinya setiap topik harus terwakili dalam soal. 1Seorang guru, dosen atau pengajar tidak hanya dituntut mampu dan rajin memberi kuliah dengan baik, disiplin dalam waktu dan jelas dalam penyampaian materi perkuliahan, melainkan harus pula mampu dan rajin membuat soal yang baik dan benar, tepat waktu, bervariasi dan dan tidak asal menyalin soal yang telah lalu. Membuat soal adalah pekerjaan yang tidak mudah, membutuhkan ketelitian menyangkut substansi, ketepatan penggunaan bahasa dan pemilihan kata, waktu dan keseriusan.Soal ujian yang baik setidak-tidaknya harus memenuhi dua persyaratan. Pertama, pertanyaan harus mengacu kepada masalah penting yang sedang dipelajari dan tidak perlu memasukan hal-hal sepele yang tidak relevan. Kedua soal ujian harus dibuat dengan baik dan benar (well structured) agar soal-soal tersebut tidak mengandung kecacatan dan kesukaran yang tidak ada hubungannya dengan pokok masalah yang dapat merugikan atau menguntungkan peserta ujian.

Multiple choice question (MCQ)Multiple choice question (MCQ) adalah salah satu bentuk ujian tulis yang paling banyak digunakan. Keuntungan ujian dengan MCQ dapat digunakan untuk menguji mahasiswa dalam jumlah banyak, tidak banyak membutuhkan waktu pelaksanaan dan koreksi, murah biayanya, dapat dianalisis, dan yang penting nilai objektivitasnya tinggi. MCQ tidak hanya dapat mengukur pengetahuan sederhana, tetapi juga tingkat pemahaman dan aplikasi tergantung kompleksitas soalnya.2 Beberapa bentuk MCQ adalah pilihan jawaban ganda dengan satu jawaban benar, pilihan ganda dengan jawaban salah-benar, pilihan tunggal salah benar dan tipe menjodohkan.3 Pada saat ini Bagian Pendidikan Fakultas Kedokteran UGM hanya menerapkan soal MCQ dengan satu pilihan benar dari 5 pilihan jawaban (option) sehingga cara membuat soal MCQ dengan satu pilihan paling benar (single best option) beserta contoh-contohnya dan kesalahan yang sering terjadi akan dibahas lebih jauh.Anatomi sebuah MCQ dengan satu jawaban paling benar

Ada dua bentuk soal yakni soal dengan bentuk vignette dan non vignette. Pada tipe vignette, sebuah soal atau item terdiri atas sebuah pokok masalah dengan 4 atau lebih baik 5 alternatif jawaban. Pokok masalah disebut stem, bisa berupa pernyataan, ilustrasi kasus, gambar, foto, hasil pemeriksaan laboratorium, gambaran patologi anatomi dan lain-lain. Pada soal non vignette, stem tidak ada dan langsung diganti dengan pertanyaan. Pertanyaan setelah stem disebut lead in, yang segera diikuti dengan alternatif jawaban. Alternatif jawaban disebut option yang salah satu di antaranya adalah jawaban yang benar. Option yang benar disebut jawaban, dan option yang salah disebut distraktor (distracters). Distraktor tidak boleh terlalu berbeda dengan jawaban, agar mereka tetap berfungsi sebagai distraktor (pembeda).2,3 Perintah atau pertanyaan pada soal MCQ semacam ini biasanya merupakan kalimat yang sudah terstandarisasi (semacam pola, atau template) sehingga penulis soal tinggal memakainya saja.Soal bentuk vignette adalah soal yang terpilih artinya lebih dianjurkan untuk dibuat ketimbang non vignette, bukan saja karena soal ini mampu menguji peserta didik sampai ketingkat evaluasi (C-6 dalam taksonomi Bloom), tetapi soal ini sangat baik digunakan sebagai soal terpadu. Soal terpadu, atau yang sering disebut integrated atau cluster adalah soal yang dibuat dengan satu stem, tetapi bisa digunakan atau dipadukan dengan berbagai disiplin ilmu lain. Berikut adalah contoh anatomi sebuah soal vignette yang berisi stem, lead in, option, distraktor, dan jawaban. Soal ini disusun dalam bentuk cluster yang melibatkan beberapa disiplin ilmu.

Dari contoh tersebut terlihat bahwa dari satu stem (ilustrasi kasus) dapat dibuat 6 buah pertanyaan (lead-in) yang melibatkan 6 disiplin ilmu. Juga terlihat bahwa dari soal pertama sampai keenam tidak saling bergantung tetapi masih dalam satu konteks yakni carcinoma cervix uteri.Petunjuk umum membuat soalSecara umum perlu ditekankan bahwa membuat soal ujian tulis bukan sebuah perkerjaan yang mudah dan ringan sehingga seorang pengajar bisa kapan saja membuat soal. Penulis ingin menekankan 7 hal dalam membuat soal ujian yakni: 1) Setiap soal harus mengacu kepada tujuan pembelajaran, (2) Buatlah kisi-kisi (specification) agar soal terstruktur dengan baik, (3) Buku acuan dan gunakan sebagai referensi, (4) Jangan membuat soal pada malam hari sebelum ujian apalagi tanpa persiapan, (5) Buatlah soal baru setiap kali ujian, (6) Lakukan review sebelum soal diujikan, dan (7) jangan mengambil soal yang telah lalu kecuali yang sudah dianalisis dan tersimpan dalam bank soal.Petunjuk umum teknik membuat soal ujian tulis.1,3,5,6,71. Gunakan bahasa yang baik dan benar. Jangan segan untuk membuka kembali buku Pedoman Umum Ejaan Bahasa Indonesia yang Disempurnakan dan Pedoman Umum Pembentukan Istilah.42. Gunakan kalimat pendek, jelas dan tidak berwayuh arti (multi interpreted).3. Setiap pernyataan atau pertanyaan hanya untuk satu aspek.4. Pokok masalah (stem) harus dirumuskan dengan jelas, hanya berisi informasi yang diperlukan dan jangan dibumbui dengan hal-hal yang mengaburkan atau tidak relevan. 5. Usahakan agar data atau informasi penting seoptimal mungkin dicantumkan dalam stem.6. Stem dapat berupa sebuah ilustrasi kasus atau skenario klinik.7. Stem juga bisa berupa sebuah foto, gambaran patologi, hasil laboratorium, grafik dll.5, 68. Stem yang bukan sebuah ilustrasi klinik atau kasus tetapi langsung sebuah pernyataan atau pertanyaan sebaiknya menggunakan kalimat utuh, artinya paling tidak ada subyek dan predikat. Bisa juga dilengkapi dengan obyek dan keterangan.9. Pilihan jawaban (option) harus diusahakan sesingkat mungkin.10. Option harus logis dan mempunyai hubungan kontekstual dengan stem atau statement nya. 11. Option boleh berupa kata, bilangan, simbol, atau kalimat. 12. Option jangan terlalu berbeda, masih dalam satu konteks tetapi tetap berfungsi sebagai distraktor.513. Panjang pendeknya option harus seimbang. Option yang terlalu panjang dan terinci akan segera dikenal sebagai jawaban yang benar

14. Hindari option yang berisi semua di atas benar atau semua di atas salah, atau bahkan keduanya terdapat secara bersamaan.515. Jika option bilangan, urutkan dari kecil ke besar atau sebaliknya, dari besar ke kecil, dan tidak boleh melompat-lompat.

16. Option harus mutually exclusive (tidak saling terkait), atau harus betul terpisah, tidak boleh saling tumpang tindih (overlap).6,717. Hindari pernyataan atau perintah negatif kecuali memang lazim, apalagi dua negatif dalam satu konteks. Sangat tidak dibenarkan menaruh dua negatif bersamaan dalam stem dan option.318. Batasi penggunaan kata kecuali, meskipun sering tidak dapat dihindari. Kelemahan pertanyaan degan kata kecuali adalah seorang mahasiswa akan memperoleh nilai nol meskipun ia mengetahui 3 dari 4 option yang benar.19. Hindari soal-soal yang bersifat menjebak dan terlalu kompleks serta tidak relevan.

20. Hindari pemakaian kata tertentu: selalu, tidak pernah, tidak mungkin, pasti dan lain-lain karena kejadian seperti itu hampir tidak mungkin terjadi sehingga option itu pasti tidak akan dipilih sebagai jawaban yang benar.321. Fokuskan substansi soal pada konsep-konsep penting, kasus yang sering terjadi atau yang memiliki potensi masalah serius dan hindari hanya menguji kemampuan mengingat fakta.

22. Setiap soal harus diusahakan agar menilai aplikasi pengetahuan, tidak hanya menguji daya ingat (recall). Akan lebih baik bila setiap soal lebih menekankan pada pertanyaan mengenai pengambilan keputusan klinik.23. Setiap soal jangan terlalu menekankan aspek klinik yang subspesialistik.

Kesalahan yang sering terjadi. Kesalahan struktural. Ada dua jenis kesalahan struktural yang harus dihindari yakni yang berhubungan dengan testwiseness dan irrelevant difficulty. Testwiseness adalah suatu keadaan di mana peserta ujian dapat menjawab suatu soal bukan karena penguasaannya terhadap isi materi yang ditanyakan pada soal tersebut, tetapi karena kepintarannya dalam menebak jawaban yang benar. Sementara itu irrelevant difficulty berkaitan dengan kesulitan yang dihadapi peserta ujian untuk menjawab suatu soal, bukan karena sulitnya materi yang diujikan, namun lebih ke arah karena kacaunya struktur soal tersebut. Jenis kesalahan yang dimaksud adalah sebagai berikut

Untuk memberikan kejelasan pada butir tersebut di atas, berikut ini dipaparkan contoh soal yang mengandung kesalahan struktur beserta uraiannya.

A. Kesalahan yang berkaitan dengan testwiseness1. Grammatical Cues

2. Logical Cues

3. Istilah yang absolut

4. Jawaban benar yang panjang

5. Pengulangan kata dari stem ke option

6. Konvergensi soal

B. Kesalahan yang berkaitan dengan kesulitan yang tidak perlu atu tidak relevan1. Pilihan jawaban yang terlalu panjang, kompleks, atau duplikasi

2. Pilihan yang berupa angka yang tidak diurutkan sesuai dengan besarnya

3. Pilihan yang mengandung unsur frekuensi suatu kejadian bertafsir ganda (multi interpreted)

4. Pilihan jawaban tidak parallel dan urutan tidak logis

5. Penggunaan BSSD (bukan salah satu di atas) pada pilihan jawaban

6. Stem terlalu panjang, sulit, dan kompleks

Menyusun stem. Seperti telah disebutkan di depan, pokok masalah (stem) harus dirumuskan dengan jelas dan berisi data atau informasi penting. Stem juga bisa berupa sebuah foto, gambaran patologi, hasil laboratorium, grafik dll. Stem yang berupa sebuah ilustrasi kasus atau skenario klinik, sebaiknya memuat:a. Umur dan jenis kelamin b. Tempat perawatan c. Keluhan utama

d. Durasi dari keluhan

e. Riwayat pasien lainnya yang berhubungan dengan keluhan

f. Temuan pemeriksaan fisikg. Hasil-hasil pemeriksaan laboratorium atau pemeriksaan penunjang lain h. Hasil-hasil terapi sebelumnya atau penemuan selanjutnya.

Tentu tidak semua informasi harus disebutkan, tergantung pertanyaan yang ingin dibuat, atau masalah apa yang akan diujikan.Perlu diingat kembali bahwa:

1. Soal sebaiknya dipusatkan untuk menguji konsep yang penting atau yang sering memberi masalah klinik yang serius. Jangan membuang-buang waktu dengan menanyakan masalah sepele. Pusatkan pada masalah yang sering ditemui pada keadaan klinik yang sebenarnya. Hindari jebakan yng tidak berguna atau pertanyaan yang terlalu kompleks dan menyulitkan.2. Setiap soal sebaiknya menanyakan pengetahuan terapan (aplikatif) bukan sekedar mengingat (recall) hal-hal yang yang tidak saling berhubungan. Untuk masalah klinis, soal vignette berupa ilustrasi kasus adalah bentuk terbaik. Bila stemnya panjang, optionnya harus pendek. Untuk masalah ilmu dasar, patient vignette biasanya lebih pendek. Kalau tidak menggunakan patient vignette, laboratory vignettes juga cukup sesuai.3. Stem harus dapat memunculkan pertanyaan yang jelas, dan dapat dijawab oleh daftar option yang tersedia. Untuk menentukan apakah soalnya terfokus, perhatikan seluruh option dan lihatlah apakah pertanyaannya jelas, dan dibayangkan apakah mahasiswa dapat menjawab pertanyaan hanya berdasarkan pada stem semata. Jangan segan menulis kembali stem dan/atau option bila mereka tidak dapat.Mengubah sebuah soal recall menjadi aplikatifSebuah soal yang bersifat recall, bisa dibuat aplikatif dengan mengubah stem sedemikan rupa sehingga menghasilakan sebuah vignette klinis. Berikut adalah dua contoh-contoh soal yang dibuat dalam vesi recall dan versi aplikatif.1. Ilmu dasar, anatomi

2. Ilmu dasar, biokimia

3. Ilmu terapan, keluarga berencana

Pola soal (item template)Struktur keseluruhan sebuah soal dapat digambarkan dengan dengan sebuah pola soal. Dengan pola ini anda dapat membuat begitu banyak soal yang tinggal kecermatan anda untuk mencari substansi penting, menarik, sering terjadi dan relevan untuk diketahui mahasiswa. The overall structure of an item can be depicted by an item template. Contoh berikut adalah template yang dapat dipakai untuk membuat serangkaian soal yang berhubugan dengan anatomi.

Dengan menggunakan template di atas dapat dihasilkan soal sebagai berikut:

Pola pokok bahasan dan pertanyaan (Stem and lead-in template).

Berikut adalah contoh template soal baik tentang stem maupun lead-in nya yang dapat dipakai sebagai pedoman pada saat anda membuat soal.

Option template.

Membuat option merupakan bagian membuat soal yang lebih sukar dibanding stem. Option adalah bagian yang harus dipilih oleh mahasiswa untuk menentukan mana yang jawaban dan mana yang bukan. Option harus berfungsi sebagai distraktor sehingga tidak boleh terlalu berbeda sehingga mudah ditebak sebagai jawaban yang benar. Opton yang terlalu mirip juga sangat menyulitkan mahasiswa, karena mungkin mengandung unsur kebenaran sehingga sangat sulit dibedakan dengan jawaban yang benar. Syarat-syarat sebuah option telah disebutkan di depan. Berikut beberapa contoh soal salah dan bagaimana me- review- nya.Contoh 1.

Contoh 2.

.

Langkah-langkah membuat soalUntuk memperoleh soal yang baik, seorang dosen tidak bisa begitu saja membuat soal, apalagi soal dibuat malam hari bahkan pagi hari menjelang ujan. Diperlukan langkah tertentu agar soal berkualitas.

1. Membentuk tim, paling tidak di tingkat Bagian. 2. Pembuat soal adalah pemberi kuliah, instruktur laboratorium praktik atau laboratorium keterampilan.3. Menyususun spesifikasi (kisi).4. Menulis soal.5. Melakukan review soal.6. Melakukan uji coba.7. Melakukan analisis.8. Memilih dan menyimpan dalam bank soal.Di samping Tim Pembuat Soal di tingkat Bagian, di tingkat Fakultas juga dibentuk Tim Assessment, yang salah satu tugasnya adalah melakukan review soal yang akan diujikan bersama pembuat soal dan koordinator blok. Soal yang sudah direview dimasukkan dalam bank soal dan siap diujikan.Menyusun kisi (spesifikasi) soalSoal tidak boleh menyimpang dari spesifikasi yang sudah ditentukan agar tujuan ujian tercapai. Spesifikasi soal biasanya menyangkut:1. Menentukan tujuan ujian (formatif, sumatif atau yang lain)

2. Merujuk ke pokok dan sub pokok bahasan (tujuan umum dan tujuan khusus)

3. Menentukan level of competence (C1 sampai C6). Level of competence bisa disederhanakan menjadi 2 level saja, recall dan aplikatif.4. Menentukan keterkaitan dengan bagian lain (departmental atau integrated).

5. Menentukan proporsi soal: berapa persent yang bersifat recall dan berapa yang harus aplikatif.

6. Menentukan reviewer, minimal 2 orang reviewer plus pembuat soal.7. Menyediakan kunci (jawaban) dan alasannya.8. Menunjuk buku acuan yang digunakan (textbooks atau sumber lain)Tim assessment Fakultas Kedoteran UGM telah melakukan langkah-lngkah di atas dan secara rutin telah melakukan review soal yang dikirim dari tiap Bagian. Berikut adalah sebuah contoh pembuatan soal yang mengikuti kaidah di atas. Pembuat soalHRS

ReviewerTim assessment

BagianObstetri dan Ginekologi

TopikKeluarga berencana

KlasifikasiTerapi

Format

Pilihan tunggal

JenisDepartmental

Tingkat kompetensiAplikasi

Area kompetensiLandasan ilmiah kedokteran

Kata kunci Oral pills, family planning

SoalA 25-year-old lactating woman comes to a family planning clinic for taking contraceptive. She is a healthy person who has given birth 3 months ago and wants to continue breastfeed. Which of the following oral pills is most likely suitable for such a woman?

JawabanA. Estrogen followed by progestin in sequence

B. Progestin followed by estrogen in sequence

C. Combined estrogen and progestin

D. Estrogen onlyE. Progestin only*

KunciE

ReferensiHR Siswosudarmo dkk .Teknologi Kontrasepsi. Gadjah Mada University Press, 2002. Yogyakarta

Pemakaian bahasa Indonesia yang baik dan benar dan beberapa contoh kesalahan yang sering terjadi. 4Perangkat lunak komputer yang tersedia telah dilengkapi dengan kamus dan tatabahasa Inggris sehingga setiap kesalahan akan diberi garis bawah merah dan kita diberitahu bagaimana yang seharusnya. Perangkat lunak untuk bahasa Indonesia memang belum ada. Oleh karena itu kita harus berhati-hati mengetik kata dan menyusun kalimat. Kalimat harus merupakan kalimat utuh, yang minimal mengandung subyek dan predikat. Kalau perlu bisa ditambah obyek dan keterangan. Kalimat hendaknya pendek saja. Format huruf, spasi, indentasi harus seragam. Istilah atau kata asing (paling banyak berasal dari bahasa Inggris) harus dicetak miring.Pemakaian kata dari

Pemakaian kata dari menurut pengamatan penulis merupakan salah satu kesalahan yang sangat sering terjadi. Dalam bahasa Indonesia dari adalah kata depan (prepostition) yang menunjukkan asal. Seringkali orang menggunakan kata dari sebagai terjemahan kata of dalam bahasa Inggris. Perhatikan contoh kalimat berikut.

Contoh istilah salah yang sering dipakaiSalah

Betul

diagnosa, diagnose

diagnosis

prognosa, prognose

prognosis

sintesa, sintese

sintesishipotesa, hipotese

hipotesis

analisa

analisis

Khusus kata diagnosis

Kata diagnosis berasal dari bahasa Inggris diagnosis yaitu bentuk kata benda (noun). Bentuk kata kerjanya (verb) adalah to diagnose, sedang kata sifatnya (adjective) adalah diagnostic. Sesuai dengan aturan pemakaian ejaan Bahasa Indoesia maka bentuk kata benda, kata kerja dan kata sifat masing-masing menjadi diagnosis, mendiagnosis dan diagnostik. Perhatikan pembentukan kata di bawah ini.

Inggris

Indonesia

Kata benda (noun)

diagnosis

diagnosis

Kata kerja (verb)

to diagnose

mendiagnosis

Kata sifat (adjective)diagnostic

diagnostik

Contoh transliterasiactive

aktif (bukan aktip, bukan pula aktiv)

activity

aktivitas (v tetap, bukan aktifitas)

effective

efektif

effectiveness

keefektifan (bukan efektivitas)risk

risiko (bukan resiko)

risky

berisiko (bukan riskan)

incidence

insidensi (bukan insidens)

incontinence

inkontinensi (bukan inkontinensia)

chromosome

kromosom (bukan khromosom)

menarche

menarke (bukan menars)

to legelize

melegalisasi (bukan melegalisir)antibiotics (noun)

antibiotika (kata benda)

antibitiotic treatment (adjective)pengobatan antibiotik (kata sifat)genetics (noun)

genetika (kata benda)genetic examination (adjective)pemeriksaan genetik (kata sifat)statistics (noun)

statistika (kata benda)

statistical analysis (adjective)analisis statistis (kata sifat)obstetrics (noun)

obstetrika (kata benda, bukan obstetri)

obstetric complication (adjective)komplikasi obstetrik (kata sifat)physics (noun)

fisika(kata benda)

physical examination (adjective)pemeriksaan fisik (kata sifat)logics (noun)

logika (kata benda)

logical thinking

pemikiran yang logis (kata sifat)medical record

rekam medis

Taksonomi. Istilah taksonomi harus ditulis apa adanya, dicetak miring dan tidak boleh ditransliterasikan. Nama penyakit boleh diindonesiakan. Berikut beberapa contoh:1. Toksoplasmosis adalah suatu penyakit yang disebabkan oleh Toxoplasma gondii (atau ditulis T gondii)2. Gonorea adalah penyakit yang disebabkan oleh Neisseria gonorrhoea (atau ditulis N gonorhhoea)Pada kedua contoh di atas, toksoplasmosis dan gonorea sudah di adopsi menjadi bahasa Indonesia sehingga ditulis dengan ejaan bahasa Indonesia. Nama kuman penyebab adalah nama taksonomi sehigga harus ditulis asli. 3. Kata depan taksonomi, sering disingkat sebagai berikut:C tetani (Clostridium)

C albicans (Candida)

C vaginale (Corinebacterium)C trachomatis (Chlamydia)

T gondii (Toxoplasma)

T vaginalis (Trichomonas)

T pedis (Tinea)T pallidum (Treponema)4. Nama virus adalah nama taksonomi sehingga harus ditulis asli atau dengan singkatan asli.

a. Virus herpes yang menyerang daerah genital adalah Herpes Simplex Virus tipe 2 (HSV-2) (jangan ditulis Virus Herpes Simpleks tipe 2 dan disingkat VHS-2).

b. Virus hepatitis B, tidak boleh disingkat VHB, tetapi harus HBV. Demikian juga HCV (Heptitis C Virus), HIV (Human Immunodeficiency Virus), CMV (Cytomegalo Virus) dan lan-lain.Kepustakaan1. Case, SM and Swanson, DB. Constructing Written Test Questions for the Basic and Clinical Sciences. National Boards of Medical Examiners, Philadelphia 2002

2. Linn, RL and Gronlund, NE. Measurement and Assessment in Teaching. Eight Ed. Prentice-Hall, Inc New Jersy 2000.

3. Harden, RM. Constructing Multiple choice Questions of Multiple True /False Type. Medical Education Booklet. Centre for Medical Education University of Dundee 2002.

4. Anonym. Pedoman Umum Ejaan Bahasa Indonesia yang Disempurnakan dan Pedoman Umum Pembentukan Istilah. Yrama Widya, Bandung 2001.

5. Arikunto, S. Dasar-Dasar Evaluasi Pendidikan. PT Bumi Aksara, Jakarta 2001.6. Schurwirth, LWT and Van der Vleuten, CPM. Written Assessment in Dent, JA and Harden, RM (eds): A Practical Guide for Medical Teachers. Second Ed. Elsevier Churchill Livingston, London 2005.

7. Slameto. Evaluasi Pendidikan. PT Bumi Aksara, Jakarta 1999.

Anatomi sebuah soal vignette dalam bentuk cluster

Topic: cervical cancer

Stem :

A 40-year-old woman with 6 children came to Sardjito Hospital because of post-coital bleeding during the last 6 months. Past history showed that she got married at the age of 14. Paps smear examination showed malignant cells.

Lead-in 1. Gynecology

What is the most likely diagnosis of the above case?

Endometrial cancer

Cervical cancer

Ovarian cancer

Uterine myoma

Cervical polyps

Lead-in 2. Pathology

Microscopic examination showed malignant epithelial tumor with keratinization. What is the most likely histological diagnosis of this entity?

Adenocarcinoma

Leiomyosarcoma

Squamous cell carcinoma

Rhabdomyosarcoma

Carcinosarcoma

Lead-in 3. Public Health

What kind of primary prevention should a woman have done before?

Keeping sexual hygiene

Paps smear

Routine colposcopic examination

Routine vaginal douching

Routine pelvic ultrasound examination

Lead-in 4. Microbiology

Which of the following virus is the most common etiologic factor?

HIV

HSV

HPV

EBV

CMV

Lead-in 5. Radiology

What radiological examination should be ordered to identify urinary tract infiltration?

Intravenous pyelography

Retrograde pyelography

Renography

Antegrade pyelography

Pelvic ultrasonography

Lead-in 6. Pharmacology

The patient was treated with cyclophosphamide. What group does the drug belong to?

Antimetabolite

Alkylating agent

Antibiotics

Hormone

Alkaloid

A. Kesalahan yang berkaitan dengan testwiseness

Grammatical Cues

Logical Cues

Istilah yang absolut

Jawaban benar yang panjang

Pengulangan kata dari badan soal ke jawaban

Konvergensi soal

B. Kesalahan yang berkaitan dengan kesulitan yang tidak perlu/relevan

Pilihan jawaban yang panjang, kompleks, atau duplikasi

Pilihan yang berupa angka tidak diurut sesuai dengan besarnya

Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi

Pilihan jawaban tidak parallel dan urutan tidak logis

Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban

Badan soal terlalu panjang, sulit, dan kompleks

A 60-year-old man is brought to the emergency department by the police, who found him lying unconsciouson the sidewalk. After ascertaining that the airway is open, the first step in management should be intravenous administration of

A. examination of cerebrospinal fluid

B. glucose with vitamin B1 (thiamine)

C. CT scan of the head

D. phenytoin

E. diazepam

Komentar: Satu atau lebih opsi jawaban tidak cocok dengan pertanyaan yang ada. Hal ini terjadi karena penulis hanya memfokuskan diri dalam pembuatan atau pemilihan jawaban yang benar sementara opsi yang salah (distraktor) tidak diperhatikan. Pada contoh di atas mahasiswa dapat dengan mudah menyingkirkan opsi A & C sebagai jawaban yang benar karena keduanya adalah pemeriksaan, bukan obat atau substansi yang dapat diberikan secara intravena.

Crime is:

A. equally distributed among the social classes

B. overrepresented among the poor

C. overrepresented among the middle class and rich

D. primarily an indication of psychosexual maladjustment

E. reaching a plateau of tolerability for the nation

Komentar: Sebagian opsi jawaban telah memperlihatkan kemungkinan jawaban yang benar. Pada soal di atas mahasiswa yang cukup cerdas dapat melihat bahwa kemungkinan besar dari jawaban A, B, atau C terdapat jawaban yang benar, sementara mahasiswa yang tidak terlalu cerdas dalam menghadapi soal lebih banyak waktunya untuk mempertimbangkan opsi D dan E. Seringkali, jawaban ini pun sebagian mengandung kebenaran dan membingungkan karena tidak terlihat dalam dimensi yang sama atau tidak bisa diurutkan kedudukannya. Kesalahan ini sering terjadi apabila menggunakan opsi yang mengandung kata bertambah, berkurang, atau tetap.

In patients with advanced dementia, Alzheimers type, the memory defect

A. can be treated adequately with phosphatidylcholine (lecithin)

B. could be a sequela of early parkinsonism

C. is never seen in patients with neurofibrillary tangles at autopsy

D. is never severe

E. possibly involves the cholinergic system

Komentar: kata selalu atau tidak pernah digunakan dalam option jawaban. Pada soal di atas, option A, B, dan E mengandung makna yang tidak mutlak sebagaimana option C dan D. Mahasiswa yang cerdas akan menyingkirkan jawaban C dan D karena kedua option itu terlihat lebih tidak mungkin sebagai jawaban yang benar karena sifatnya yang cenderung mutlak tersebut. Perlu dicatat bahwa kesalahan semacam ini tidak akan terjadi apabila kalimat pertanyaan terfokus dan option jawabannya pendek, hal ini muncul ketika kata kerja dimasukan kedalam option jawaban dan bukan di dalam pertanyaan lead-in

Secondary gain is

A. synonymous with malingering

B. a frequent problem in obsessive-compulsive disorder

C. a complication of a variety of illnesses and tends to prolong many of them

D. never seen in organic brain damage

E. always accompanies non organic brain damage

Komentar: Pada soal di atas pilihan jawaban C lebih panjang dari yang lain. Selain itu terdapat 2 hal pada pilihan tersebut. Penulis soal kadang terlalu memberi perhatian lebih pada jawaban yang benar sehingga tidak memikirkan distraktor atau pilihan yang salah. Dengan demikian muncul banyak pernyataan pada jawaban yang benar secara berlebihan, sementara pada pilihan yang salah atau distraktor lebih pendek pernyataannya. Perhatikan pula adanya kata never dan always yang menunjukkan keabsolutan

A 58-year-old man with a history of heavy alcohol use and previous sychiatric hospitalization is confused and agitated. He speaks of experiencing the world as unreal. This symptom is called

A. depersonalization

B. derailment

C. derealization

D. focal memory deficit

E. signal anxiety

Komentar: Pada soal di atas, digunakan kata unreal, sementara itu muncul kata derealisasi pada pilihan jawaban C sebagai jawaban yang benar. Kadang-kadang hal ini terjadi dan peserta ujian dapat mencoba menebak jawaban yang mempunyai kaitan kata dengan badan soalnya, sehingga hal ini harus dihindari.

Local anesthetics are most effective in the

A. anionic form, acting from inside the nerve membrane

B. cationic form, acting from inside the nerve membrane

C. cationic form, acting from outside the nerve membrane

D. uncharged form, acting from inside the nerve membrane

E. uncharged form, acting from outside the nerve membrane

Komentar: Jawaban yang benar mengandung komponen yang paling sering muncul pada option yang lain (distraktor). Hal ini tidak terlalu kentara terlihat, tetapi dapat terjadi ketika seorang penulis soal mencoba membuat jawaban yang benar, kemudian mencoba membuat jawaban yang salah dengan membuat kombinasi dari jawaban yang benar dengan suatu elemen yang salah. Sebagai contoh kalau pilihan jawaban berupa kombinasi sebagai berikut: Pensil dan pen, pensil dan spidol, pensil dan krayon, pen dan penghapus. Maka dengan penghitungan sederhana kita dapat menghitung bahwa pensil muncul sebanyak 3 kali, sementara pen sebanyak 2 kali pada jawaban. Sementara elemen lain hanya munculsatu kali. Secara tidak disadari hal ini sering terjadi ketika seorang penulis mencoba mencari pilihan yang salah. Dari soal di atas peserta dapat mengeliminasi bentuk anionic sebagai jawaban yang benar, demikian pula dengan dari luar membran syaraf yang lebih jarang muncul dibandingkan dengan dari dalam membran syaraf. Sehingga hanya pilihan B dan D yang mungkin benar, dan karena tiga pilihan mengandung tidak bermuatan maka peserta akan menebak jawabanya adalah B

Peer review committees in HMOs may move to take action against a physicians credentials to care for participants of the HMO. There is an associated requirement to assure that the physician receives due process in the course of these activities. Due process must include which of the following?

A. Notice, an impartial forum, council, a chance to hear and confront evidence against him/her.

B. Proper notice, a tribunal empowered to make the decision, a chance to confront witnesses against him/her, and a chance to present evidence in defense.

C.Reasonable and timely notice, impartial panel empowered to make a decision, a chance to hear evidence against himself/herself and to confront witnesses, and the ability to present evidence in defense.

Komentar: Pada soal di atas terlihat bahwa pilihan jawaban terlalu panjang sehingga menimbulkan kesulitan bagi peserta untuk menjawabnya. Bukan karena ketidak tahuan peserta tetapi sulitnya memahami kalimat yang panjang tersebut. karena hal teknis tersebut.

Following a second episode of pelvic infection disease, what is the likelihood that a woman is infertile?

A. Less than 20%

B. 20 to 30%

C. Greater than 50%

D. 90%

E. 75%

Komentar: Pada soal di atas pilihan jawaban yang mengandung suatu ukuran tidak diurutkan dari yang kecil (paling atas) sampai yang besar paling bawah), dengan demikian dapat menyulitkan mahasiswa dalam menjawabnya. Pengurutan bisa dari kecil ke yang lebih besar atau sebalknya dari yang besar ke yang lebih keil tergantung konteks soal.

Severe obesity in early adolescence

A. usually responds dramatically to dietary regimens

B. often is related to endocrine disorders

C. has a 75% chance of clearing spontaneously

D. shows a poor prognosis

E. usually responds to pharmacotherapy and intensive psychotherapy

Komentar: Pada soal di atas terlihat bahwa pilihan jawaban mengandung unsur frekuensi yang mengundang perdebatan, seperti biasanya, sering, dll. Hal ini sebaiknya dihindari karena jawabannya bisa bersifat subjektif. Penyebutan 75% juga mengundang risiko perdebatan karena sangat tergantung pada penelitian siapa.

In a vaccine trial, 200 2-year-old boys were given a vaccine against a certain disease and then monitored for five years for occurrence of the disease. Of this group, 85% never contracted the disease. Which of the following statements concerning these results is correct?

A. No conclusion can be drawn, since no follow-up was made of nonvaccinated children

B. The number of cases (ie, 30 cases over five years) is too small for statistically meaningful conclusions

C. No conclusions can be drawn because the trial involved only boys

D. Vaccine efficacy (%) is calculated as 85-15/100

E. To draw a clinically significant conclussion a randoized trial with enough sample size must be done

Which city is closest to New York City?

A. Boston

B. Chicago

C. Dallas

D. Los Angeles

E. none of the above

If students select E, you dont know if they are thinking about Philadelphia or London.

Komentar: Kalimat bukan salah satu di atas menjadi masalah pada soal yang melibatkan bagaimana membedakan dan membandingkan, dan pada keadaan di mana option tidak sama sekali benar atau salah. Jika jawaban benar dimaksudkan untuk sesuatu di luar jawaban yang tertera dalam daftar, mahasiswa yang pandai dihadapkan pada sebuah dilema karena mereka harus menentukan antara sebuah option sempurna yang sangat rinci dan option yang saudara telah tentukan sebagai option yang benar. Seringkali mereka dapat membuat sebuah option yang lebih benar ketimbang option benar yang saudara maksud. Penggunaan bukan sakah satu di atas sesungguhnya mengembalikan soal pada bentuk benar/salah di mana setiap option harus dinilai sebagai lebih atau kurang benar dibandingkan dengan option yang tidak tertera dalam daftar.

Arrange the parents of the following children with Downs syndrome in order of highest to lowest risk of recurrence. Assume that the maternal age in all cases is 22 years and that a subsequent pregnancy occurs within 5 years. The karyotypes of the daughters are:

I: 46, XX, -14, +T (14q21q) pat

II: 46, XX, -14, +T (14q21q) de novo

III: 46, XX, -14, +T (14q21q) mat

IV: 46, XX, -21, +T (14q21q) pat

V: 47, XX, -21, +T (21q21q) (parents not karyotyped)

A. III, IV, I, V, II

B. IV, III, V, I, II

C. III, I, IV, V, II

D. IV, III, I, V, II

E. III, IV, I, II, V

Komentar: Soal di atas sangat sulit, kompleks dan berliku-liku sehinga hanya mungkin dipahami oleh orang yang berpengetahuan sangat mendalam tentang masalah tersebut. Notasi I sampai V sangat kompleks apalagi mengurutkan seperti diminta pada alfabet A sampai E. Soal tersebut sebaiknya dibuang saja.

Recall:

What area is supplied with blood by the posterior inferior cerebellar artery?

Aplikatif:

A 62-year-old man develops left-sided limb ataxia, Horners syndrome, nystagmus, and loss of appreciation of facial pain and temperature sensations. What artery is most likely to be occluded?

Aplikatif:

An otherwise healthy 33-year-old man has mild weakness and occasional episodes of steady, severe abdominal pain with some cramping but no diarrhea. One aunt and a cousin have had similar episodes. During an episode, his abdomen is distended, and bowel sounds are decreased. Neurologic examination shows mild weakness in the upper arms. These findings suggest a defect in the biosynthetic pathway for

A. collagen

B. corticosteroid

C. fatty acid

D. glucose

*E. heme

Recall:

Acute intermittent porphyria is the result of a defect in the biosynthetic pathway for

A. collagen

B. corticosteroid

C. fatty acid

D. glucose

*E. heme

F. thyroxine (T4)

Recall:

Which of the following contraceptive has the least effect on menstrual pattern?

Injectables

Two-rods implant

Six-rods implant

Oral pills*

IUD

Aplikatif:

A 25-year-old otherwise healthy woman with hemoglobin content 9.3 g/dL came to your clinic to ask contraception for about one year. She lost her first baby six moths ago during delivery and she has resumed regular period. The most preferred contraceptive for her is

A. injectables

B. six-rods implant

C. two-rods implant

D. oral pills*

E. IUD

Template:

A (patient description) is unable to (functional disability). Which of the following is most likely to have been injured?

A 65-year-old man has difficulty rising from a seated position and straightening his trunk, but he has no difficulty

flexing his leg. Which of the following muscles is most likely to have been injured?

*A. Gluteus maximus

B. Gluteus minimus

C. Hamstrings

D. Iliopsoas

E. Obturator internus

A (patient description) has a (type of injury and location). Which of the following structures is most likely to be affected?

A (patient description) has (history findings) and is taking (medications). Which of the following medications is the most likely cause of his (one history, PE or lab finding)?

A (patient description) has (abnormal findings). Which [additional] finding would suggest/suggests a diagnosis of (disease 1) rather than (disease 2)?

A (patient description) has (symptoms and signs). These observations suggest that the disease is a result of the (absence or presence) of which of the following (enzymes, mechanisms)?

A (patient description) follows a (specific dietary regime). Which of the following conditions is most likely to occur?

A (patient description) has (symptoms, signs, or specific disease) and is being treated with (drug or drug class). The drug acts by inhibiting which of the following (functions, processes)?

A (patient description) has (abnormal findings). Which of the following (positive laboratory results) would be expected?

(time period) after a (event such as trip or meal with certain foods), a (patient or group description) became ill with (symptoms and signs). Which of the following (organisms, agents) is most likely to be found on analysis of (food )?

Following (procedure), a (patient description) develops (symptoms and signs). Laboratory findings show (findings). Which of the following is the most likely cause?

A (patient description) dies of (disease). Which of the following is the most likely finding on autopsy?

A patient has (symptoms and signs). Which of the following is the most likely explanation for the (findings)?

A (patient description) has (symptoms and signs). Exposure to which of the (toxic agents) is the most likely cause?

Which of the following is the most likely mechanism of the therapeutic effect of this (drug class) in patients with (disease)?

A patient has (abnormal findings), but (normal findings). Which of the following is the most likely diagnosis?

Komentar.

Soal ini hanya bersifat recall

Stem tidak jelas karena tidak menyangkut sebuah masalah tertentu.

Lead-in menjadi satu dengan stemnya, karena soal ini bukan patient vignette

Option tidak saling berhubungan, terlalu melebar.

Penulisan Toksoplasma gondii dan virus hepes simpleks tidak benar karena tidak mengikuti kaidah menulis nama taksonomi. Nama taksonomi untuk parasit, virus, bakteria dan lain-lain sudah baku, misal Toxoplasma gondii atau disingkat T gondii (selalu dicetak italic). Virus herpes simpleks harus ditulis Herpes Simplex Virus atau disingkat HSV (selanjutnya lihat bahasan tentang pemakaian bahasa Indonesia dan penulisan taksonomi)

Stem: Pernyatan di bawah ini adalah benar KECUALI:

Penisilin mempunyai potensi besar menyebabkan syok anafilaktik.*

Toksoplasma gondii ditularkan melalui melalui kontak seksual.

Ada hubugan erat antara kanker serviks dengan infeksi saluran kelamin.

HIV termasuk golongan virus RNA

Penularan virus herpes simpleks pada neonatus terjadi terutama pada saat menyusui

Solusi.

Stem dibuat untuk satu masalah saja, apakah menyangkut penisilin, toksoplasmosis, kanker serviks, infeksi HCV, atau infeksi HSV.

Pilihan 1. Stem di-review untuk toksoplasmosis.

Stem: Seorang ibu hamil 8 bulan datang dengan membawa hasil pemeriksaan laboratorium yang menunjukkan IgG antitoksoplasma positif dan IgM negatif. Dia sangat kuatir kalau-kalau janin yang yang dikandungnya terkena cacat bawaan.

Lead-in: Dari pernyataan tentang toksoplasmosis pada wanita hamil tersebut, mana yang benar?

Toksoplasmosis pada bayi mudah dikenal dari tanda dan gejala klinis.

Hasil IgG positif dan IgM negatif menunjukkan infeksi baru.

Toksoplasmosis dapat dihindari atau dicegah dengan vaksinansi.

Salah satu manifestasi toksoplasmosis pada bayi adalah hidrosefalus.*

Gold standard untuk diagnosis toksoplasmosis kongenital adalah ditemukannya parasit T gondii dalam darah plasenta.

Pilihan 2. Stem di review untuk kanker serviks

Stem:Seorang wanita umur 40 tahun datang dengan keluhan perdarahan kontak. Dokter melakukan pemeriksaan inspeksi visual dengan asam asetat (IVA).

Lead-in: Dari pernyataan tersebut di bawah ini tentang IVA, mana yang benar?

IVA digunakan untuk deteksi dini kanker serviks.

IVA menggunakan larutan asam asetat 10%

Pemeriksaan IVA membutuhkan bantuan kolposkop

Hasil positif bila ditemukan daerah berwarna putih.*

Hasil IVA positif menunjukkan adanya kanker serviks.

Pilihan 3. Stem di review untuk penisilin atau penyakit yang membutuhkan pengobatan penisilin

Stem:Seorang pria lajang berumur 25 tahun datang datang ke dokter dengan keluhan utama nyeri pada saat kencing, kencing disertai nanah. Penderita mengaku telah melakukan hubungan seks dengan wanita penjaga bilyar satu minggu yang lalu. Pemeriksaan sekret uretra menunjukkan kuman diplokokus gram negatif.

Lead-in: Dari obat tersebut di bawah ini mana yang merupakan obat pilihan untuk penderita tersebut di atas?

Tetrasiklin.

Kloramfenikol

Gentamisin

Penisilin.*

Streptomisin.

Stem: Obat yang tidak boleh diberikan pada wanita hamil pada trimester pertama karena bersifat teratogenik adalah:

Vitamin A

Ampisilin

Parasetamol

Misoprostol

Metotreksat*

Komentar

Seperti pada contoh pertama, soal ini hanya bersifat recall

Stem mengandung pernyataan negatif (meskipun sebenarnya masih bisa diterima, karena pemberian obat pada wanita hamil harus lebih menitik beratkan pada obat yang tidak boleh diberikan) dan berisi 2 masalah. Pertama, tidak boleh diberikan kepada wanita hamil dan kedua, bersifat teratogenik. Bisa juga obat tidak boleh diberikan kepada wanita hamil bukan karena bersifat teratogenik tetapi bersifat abortivum, misal misoprostol.

Lead-in menjadi satu dengan stemnya, karena soal ini bukan patient vignette.

Option membingunkan karena:

Vitamin A dalam dosis tinggi bisa bersifat teratogenik.

Misoprostol tidak boleh diberikan pada wanita hamil karena bersifat abortivum

Metotreksat merupakan option yang terlalu jelas sebagai jawaban yang diharapkan karena dari seluruh option metotreksat adalah obat anti kanker.

Solusi

Soal harus dibuat patient vignette, sebagai berikut:

Pilihan 1.

Stem: Seorang ibu hamil 12 minggu datang dengan keluhan nyeri epigastrik. Pemeriksaan fisik dalam batas normal, demikian pula dengan janin yang dikandungnya. Riwayat nyeri epigastrik telah dialami sejak sebelum hamil dan pasien merasa enak bila telah mendapatkan antasida.

Lead-in: Yang mana dari obat anti ulkus peptikum tersebut di bawah ini merupakan kontraindikasi untuk wanita hamil?

Antasida

Misoprostol

Cimetidin

Nizatidin

Ranitidin

Perhatikan: Semua option adalah obat untuk ulkus peptikum, dan hanya sebuah kata

Pilihan 2.

Metotreksat dihilangkan karena terlalu jelas. Lead-in dengan menggunakan perintah negatif mungkin masih layak dipertahankan.

Stem: Seorang ibu hamil 14 minggu datang dengan keluhan batuk sejak 3 hari. Pemeriksaan fisik menunjukkan hiperemia farinks, dan temperatur tubuh 38,2 0C.. Pemeriksaan laboratorium menunjukkan angka lekosit 12300/L

Lead-in: Yang mana dari antibiotika tersebut di bawah ini yang tidak boleh diberikan pada wanita hamil tersebut di atas?

Ampisilin

Amoksisilin

Tetrasiklin*

Eritromisin

Sefalosporin

Perhatikan: Semua option adalah antibiotika, dan hanya sebuah kata. Kata tidak boleh dipakai karena memang untuk menekankan obat yang pemberiannya dilarang pada wanita hamil.

Pilihan 3

Stem: Seorang bayi dilahirkan dengan kelainan kogenital berupa kedua tangan yang langsung menempel pada gelang bahu. Dari anamnesis diperoleh keterangan bahwa si ibu pernah mengonsumsi obat anti muntah yang diperolehnya dari toko obat tanpa resep dokter.

Lead-in: Obat anti emetik yang dikonsumsi ibu tersebut di atas sangat mungkin adalah

metoklorpamid

dimenhidrinat

ekstrak jahe

ondansetron

talidomid*

Perhatikan: Optionnya sangat singkat, hanya sebuah kata dan semuanya adalah anti muntah.

Yang mana dari hasil pemeriksaan berikut ini yang paling mungkin menunjukkan fase akut dari infeksi toksoplasmosis? Pemakaian kata dari dalam kalimat ini tidak benar.

Kalimat ini adalah terjemahan bahasa Inggris:

Which of the following is the most likely laboratory finding suggesting an acute phase of toxoplasmosis infection?

Yang benar adalah: Yang mana hasil pemeriksaan berikut ini yang paling mungkin menunjukkan fase akut infeksi toksoplasmosis?