Uji Coba Ketiga

OSCE UKDI

Komite Bersama Uji Kompetensi Dokter Indonesia

HPEQ Project Komponen 2 24-25 Februari 2012

Tujuan

1. Melakukan uji coba formatOSCE UKDI

mulai H-1 sampai H

Uji Coba Pertama

OSCE UKDI

22-24 Juli 2011

4

Tujuan:

Apakah soal yang direview dapat mendrive proses

persiapan dan pelaksanaan yang baik

Fokus Evaluasi:

Perangkat soal

Uji Coba Kedua

OSCE UKDI

14 -15 Oktober 2011

Peserta TO II OSCE UKDI CENTER JUMLAH PESERTA

USU 11

UNAND 14

UI 14

YARSI 12

UKM 10

UNPAD 14

UNDIP 14

UGM 14

UB 14

UNAIR 13

UNUD 14

UNHAS 13

TOTAL PESERTA 157

6

Kategori Kompetensi

Min

imal

CV

S

Res

pir

ato

ry

syst

em

Neu

ro-

beh

avio

ur

Gas

tro

inte

sti

nal

sys

tem

Rep

rod

uct

ive

syst

em

Mu

scu

losc

ele

tal

syst

em

End

ocr

in e

&

Met

abo

lic

Hem

ato

logy

/

On

colo

gy

Gn

ito

uri

nar

y

syst

em

Hea

d &

Nec

k

Spec

ial

Sen

sory

Phs

ycia

try

Kasus Hiper

tensi TBC Stroke Diare

Baby

Delivery

Fraktur

Tibia DM Anemia BPH OMA Katarak Depresi

1. Anamnesis 4 V V V V V V V

2. Pemeriksaan Fisik 4 V V V V V V V V

3. Melakukan

tes/prosedur klinik

atau interpretasi

data untuk

menunjang

diagnosis

banding/diagnosis

3 V V V V V V V

4. Menentukan

diagnosis atau

diagnosis banding

3 V V V V

V

V

V

V

V

V

V

5. Penatalaksanaan: a. Non Farmakoterapi

3 V V V

V

V

V

V

V

V

b. Farmakoterapi 3 V V V

V

V

V

V

6. Komunikasi & Pendidikan Pasien

7 V V V V V V V V V

7. Perilaku Profesional 12 V V V V V V V V V V V V

7

Uji Coba Ketiga

OSCE UKDI

24 -25 Februari 2012

Tujuan:

8

Evaluasi Perangkat Soal

Evaluasi Kinerja Penguji

Evaluasi Kinerja PS

Evaluasi Kinerja IT

Lokasi TO III OSCE UKDI No CENTER No CENTER

1 USU 13 UNSYIAH

2 UNAND 14 UNSRI

3 UI 15 UAJ

4 YARSI 16 UKI

5 UKM 17 USAKTI

6 UNPAD 18 UKRIDA

7 UNDIP 19 UPN

8 UGM 20 UNILA

9 UB 21 UNMUL

10 UNAIR 22 UMY

11 UNUD 23 UII

12 UNHAS 24 UNRAM

25 UNSRAT

12 soal OSCE-12 station

9 station dgn pasien standar

15 menit tiap station:

Sekitar 1 menit untuk membaca soal

Sekitar 1 menit untuk perpindahan

Sekitar 12-13 menit waktu efektif

2 station istirahat

Antara station 6 dan 7

Antara station 12 dan 1

Rehat penguji dan PS setelah station ke-4 selama 8 menit (ada musik).

Saat Rehat peserta duduk di station berikutnya

Peserta diijinkan ke toilet saat di berada di station istirahat, dengan ditemani petugas

11

Pasien Standar (PS):

Skenario diberikan H-1; pelatihan dilakukan

H-1

Peserta Ujian:

Sebagian yang ikut CBT;

Sebagian dokter muda yang telah menyelesaikan 3 rotasi

Peralatan:

Diberikan ke KOC saat H-10; di set H-1

12

Evaluasi

Perangkat Soal

14

Invited Item Writers

Dokter Spesialis

Invited Item Reviewers

Dokter Spesialis + Praktek Umum

Technical editing

OSCE Team

BRIEFING

N = 242

KECUKUPAN WAKTU (Penguji)

N = 243 N = 244

KECUKUPAN WAKTU (Peserta)

N = 344 N = 341

KESESUAIAN SKDI (Penguji)

N = 240 N = 240

N = 335 N = 341

KESESUAIAN SKDI (Peserta)

Kejelasan instruksi peserta (Penguji)

N = 243 N = 244 N = 241 N = 237 N = 236

N = 338

N = 343 N = 343 N = 339 N = 340

Kejelasan instruksi peserta (Peserta)

Kejelasan instruksi penguji

N = 241 N = 241 N = 241 N = 244 N = 241

ALAT DAN MANIKIN

N = 239 N = 234 N = 234 N = 235

TIMER

N = 241

COMPUTER BASED SCORING

N = 242 N = 243

N = 242

N = 242 N = 240

PETUGAS

N = 243

KELANCARAN

N = 242

Penguji tidak melakukan kegiatan lain

N = 338

WAKTU ISTIRAHAT PESERTA CUKUP

N = 343

FASILITAS PENDUKUNG DI LOKASI UJIAN

N = 341 N = 340 N = 341

Evaluasi

Kinerja PS

PERBANDINGAN SKOR PS DINILAI OLEH PELATIH DAN

PENGUJI

N Mean SD

Penguji 160 7,64 1,389

Pelatih 218 8,13 0,789

Pengalaman PS - Kinerja

Pengalaman PS Skor Kinerja

5 tahun 7,58

6-10 tahun 8,13

> 10 tahun 7,73

p = 0,337

Variasi Kasus Skor Kinerja

5 kasus 7,55

6-10 kasus 8,14

> 10 kasus 7,65

p = 0,168

Variasi Kasus - Kinerja

Latar Belakang Seni Peran

Skor Kinerja

Teater/ Akting 7,95

Umum 7,50

p = 0,55

Latar Belakang PS - Kinerja

Tingkat Pendidikan Skor Kinerja

SD 7,33

SMP 8

SMA 7,55

S1 8,07

p = 0,408

Tingkat Pendidikan PS - Kinerja

Usia PS Skor Kinerja

30 tahun 7,72

30-40 tahun 7,44

> 40 tahun 7,71

p = 0,509

Usia PS - Kinerja

Evaluasi

Kinerja Penguji

39

OSCE

Center

Station Latar Belakang

Penguji 1

Latar Belakang

Penguji 2

Koefisien

Alpha

USU Station 1 Anestesi Spesialisasi lain 0,92

UNAND Station 2 Penyakit Dalam Spesialisasi lain 0,73

UKM Station 3 Saraf Spesialisasi lain 0,66

YARSI Station 4 Penyakit Dalam Spesialisasi lain 0,82

UNPAD Station 5 Obsgyn Spesialisasi lain 0,91

UI Station 6 Bedah Spesialisasi lain 0,51

UGM Station 7 Penyakit Dalam Spesialisasi lain 0,95

UNDIP Station 8 Kesehatan Anak Spesialisasi lain 0,96

UNAIR Station 9 Penyakit Dalam Spesialisasi lain 0,92

UB Station 10 THT Spesialisasi lain 0,97

UNUD Station 11 DV Spesialisasi lain 0,83

UNHAS Station 12 Jiwa Spesialisasi lain 0,68

Spesialisasi Sesuai Kasus VS Spesialisasi Lain

40

OSCE

Center

Station Latar Belakang

Penguji 1

Latar Belakang

Penguji 2

Koefisien

Alpha

UNSYIAH Station 1 Anestesi Dokter Praktek Umum 0,49

UNMUL

Station 2 Penyakit

Dalam/Paru

Dokter Praktek Umum 0,62

UAJ Station 3 Saraf Dokter Praktek Umum 0,73

UMY Station 4 Penyakit Dalam Dokter Praktek Umum 0,72

USAKTI Station 5 Obsgyn Dokter Praktek Umum 0,76

UKRIDA Station 6 Bedah Dokter Praktek Umum 0,63

UNRAM Station 7 Penyakit Dalam Dokter Praktek Umum 0,91

UNILA Station 8 Kesehatan Anak Dokter Praktek Umum 0,42

UNSRI Station 9 Penyakit Dalam Dokter Praktek Umum 0,64

UII Station 11 DV Dokter Praktek Umum 0,88

UPN Station 12 Jiwa Dokter Praktek Umum 0,72

UNSRAT Station 1 Jantung Dokter Praktek Umum 0,79

Spesialisasi Sesuai Kasus VS Dokter Praktek Umum

Evaluasi

Kinerja IT

Persiapan CBS

Trial dilakukan pada hari rabu, 22 Feb 2012

Problem: Jaringan overload untuk menangani 25 Institusi

Problem Solving: Merouting ulang jaringan menuju ke server OSCE

Menambah alokasi bandwidth ke server

Problem saat Tryout

Problem Ketika menekan tombol beri nilai, form penilaian muncul berupa 1

halaman web, bukan berupa pop-up. Oleh karena itu, penguji tidak dapat kembali ke lembar penilaian dan harus logout terlebih dahulu. Hal ini cukup mengganggu bagi penguji dalam memberikan penilaian, sehingga penilaian memakai kertas.:

Analisa masalah Perbedaan konfigurasi server yang mengakibatkan beberapa fungsi

pada program tidak berjalan dengan baik

Roadmap

Uji coba pertama Juli 2011(1 institusi):

Ujud pelaksanaan OSCE

Uji coba kedua Oktober 2011 (12 institusi):

+ Apakah soal yang direview dapat mendrive proses persiapan dan pelaksanaan

Uji coba ketiga Januari 2012 (18-24 institusi):

+ Performance penguji dan SP + IT

Roadmap

Uji coba keempat 28 April 2012 (36 institusi)

+ standard setting

Uji coba kelima 8 September 2012 (48 institusi)

+ Retaker

Uji coba keenam 3 November 2012 (60 institusi)

+ General

Unsyiah

46

UNSRI

47

UKI

48

USAKTI

49

UII

50

UNRAM

51