BAB II

LANDASAN TEORI

Adaptive online test merupakan ujian yang di-customize oleh sistem komputer

berdasarkan respon dari peserta ujian [LIN00]. Pada adaptive online test, soal-soal

yang diberikan kepada peserta ujian diambil dari kumpulan soal-soal, yang

disebut sebagai bank soal, secara otomatis. Soal diberikan satu per satu dimana

tingkat kesulitan soal yang diberikan disesuaikan dengan estimasi tingkat

kemampuan peserta ujian. Berdasarkan jawaban yang diberikan peserta ujian

terhadap soal tersebut, estimasi tingkat kemampuan peserta ujian akan di-update.

Tingkat kesulitan soal yang diberikan selanjutnya akan disesuaikan dengan

estimasi tingkat kemampuan peserta ujian yang telah di-update. Ujian akan selesai

jika tingkat kemampuan peserta ujian sudah dapat diestimasi dengan cukup

akurat.

Salah satu teori yang dapat membantu dalam mengkonstruksi algoritma untuk

mengestimasi tingkat kemampuan peserta ujian dalam adaptive online test adalah

item response theory. Item response theory berisi kumpulan karateristik matematis

dari respon peserta ujian terhadap soal ujian. Tujuan dari item response theory

adalah untuk mendeskripsikan properti dari soal dan menentukan tingkat

kemampuan peserta ujian. Dalam item response theory, tingkat kemampuan

peserta ujian ditentukan berdasarkan model probability untuk tiap soal [RUD98].

Beberapa konsep dari item response theory dibahas pada sub bab 2.1 sampai sub

bab 2.4.

2.1 Item Characteristic Curve

Secara teori, kemampuan (ability) peserta ujian mengenai suatu bidang ilmu

terletak pada suatu skala dengan range -∞ sampai ∞, tetapi dalam prakteknya

skala tersebut harus dibatasi, katakanlah dengan range -3 sampai 3 [BAK01].

Besarnya ability tidak dapat dihitung secara pasti seperti halnya mengukur tinggi

badan, tapi dapat diestimasi. Salah satu cara untuk mengestimasi ability adalah

7Pengembangan prototype...,LISA RIENELLDA IRSAL, FASILKOM UI, 2004

dengan melakukan ujian. Saat ujian, peserta ujian akan menjawab soal-soal dalam

ujian dengan suatu ability θ yang dimilikinya. Pada tiap level ability θ, terdapat

probability tertentu bahwa peserta ujian dengan level ability tersebut akan

menjawab suatu soal dengan benar, yang dinamakan dengan P(θ) [BAK01].

Kurva fungsi P(θ) terhadap θ tersebut dinamakan sebagai item characteristic

curve. Setiap soal (item) memiliki item characteristic curve sendiri. Bentuk item

characteristic curve suatu soal tergantung pada karateristik dari soal itu sendiri.

Contoh item characteristic curve dari suatu soal dapat dilihat pada gambar 2

[BAK01].

Gambar 2 Item Characteristic Curve

Item characteristic curve memiliki 2 properti yang digunakan untuk

mendeskripsikannya, yaitu difficulty dan discrimination. Difficulty merupakan

tingkat kesulitan soal, yang menggambarkan lokasi soal pada skala ability dan

dapat didefinisikan sebagai titik pada skala ability dimana P(θ) = 0.5 [BAK01].

Sedangkan discrimination menggambarkan seberapa baik soal dapat membedakan

peserta ujian yang memiliki ability di atas lokasi soal tersebut dan di bawah lokasi

soal tersebut pada skala ability, dan dapat didefinisikan sebagai slope item

characteristic curve di lokasi soal pada skala ability [BAK01].

Difficulty dan discrimination dari suatu soal menentukan bentuk item

characteristic curve dari soal tersebut. Contoh item characteristic curve 3 soal

dengan discrimination yang sama tapi dengan difficulty yang berbeda dapat dilihat

pada gambar 3 [BAK01]. Sedangkan contoh item characteristic curve 3 soal

dengan difficulty yang sama tapi dengan discrimination yang berbeda dapat dilihat

pada gambar 4 [BAK01].

8Pengembangan prototype...,LISA RIENELLDA IRSAL, FASILKOM UI, 2004

Gambar 3 Item Characteristic Curve dengan Difficulty yang Berbeda

Pada gambar 3, item characteristic curve yang ada di posisi paling atas

merupakan item characteristic curve dari soal yang memiliki difficulty paling

rendah. Sedangkan item characteristic curve yang ada di posisi paling bawah

merupakan item characteristic curve dari soal yang memiliki difficulty paling

tinggi.

Gambar 4 Item Characteristic Curve dengan Discrimination yang Berbeda

Pada gambar 4, item characteristic curve yang paling curam merupakan item

characteristic curve dari soal yang memiliki discrimination paling tinggi.

Sedangkan item characteristic curve yang paling landai merupakan item

characteristic curve dari soal yang memiliki discrimination paling rendah.

2.2 Item Characteristic Curve Model

P(θ), yaitu probability bahwa peserta ujian dengan suatu level ability θ akan

menjawab suatu soal yang dinilai secara biner dengan benar, dapat ditentukan

dengan beberapa mathematical model berbentuk fungsi logistik. Beberapa

mathematical model tersebut, yaitu two-parameter model, one-parameter model,

dan three-parameter model, akan dibahas pada sub sub bab 2.2.1 sampai sub sub

bab 2.2.3.

9Pengembangan prototype...,LISA RIENELLDA IRSAL, FASILKOM UI, 2004

2.2.1 Two-Parameter Model

Salah satu mathematical model untuk menentukan probability bahwa peserta ujian

dengan suatu level ability θ akan menjawab suatu soal dengan benar adalah two-

parameter model. Two-parameter model memperhitungkan 2 parameter soal,

yaitu difficulty dan discrimination, yang definisinya sudah dibahas pada sub sub

bab 2.1. Probability bahwa peserta ujian dengan suatu level ability θ akan

menjawab suatu soal dengan benar untuk two-parameter model ditentukan dengan

persamaan 1 [BAK01].

[1]

Keterangan persamaan 1:

P(θ) = Probability peserta ujian dengan level ability θ menjawab soal dengan

benar

θ = Level ability peserta ujian, misal: -3 ≤ θ ≤ 3

a = Parameter discrimination dari soal, misal: -2.8 ≤ a ≤ 2.8

b = Parameter difficulty dari soal, misal: -3 ≤ b ≤ 3

2.2.2 One-Parameter Model

Mathematical model lain untuk menentukan probability bahwa peserta ujian

dengan suatu level ability θ akan menjawab suatu soal dengan benar adalah one-

parameter model. Tidak seperti two-parameter model yang memperhitungkan 2

parameter soal, one-parameter model hanya memperhitungkan 1 parameter soal,

yaitu difficulty. Probability bahwa peserta ujian dengan suatu level ability θ akan

menjawab suatu soal dengan benar untuk one-parameter model ditentukan dengan

persamaan 2 [BAK01].

[2]

10Pengembangan prototype...,LISA RIENELLDA IRSAL, FASILKOM UI, 2004

Keterangan persamaan 2:

P(θ) = Probability peserta ujian dengan level ability θ menjawab soal dengan

benar

θ = Level ability peserta ujian, misal: -3 ≤ θ ≤ 3

b = Parameter difficulty dari soal, misal: -3 ≤ b ≤ 3

One-parameter model disebut juga dengan Rasch model. Persamaan untuk one-

parameter model didapat dari persamaan 1 untuk two-parameter model dengan

mensubstitusi a dengan angka 1.

2.2.3 Three-Parameter Model

Selain two-parameter model dan one-parameter model, terdapat mathematical

model lain untuk menentukan probability bahwa peserta ujian dengan suatu level

ability θ akan menjawab suatu soal dengan benar, yaitu three-parameter model.

Three-parameter model memperhitungkan 3 parameter soal. Selain difficulty dan

discrimination, three-parameter model juga memperhitungkan sebuah faktor lain,

yaitu probability bahwa soal dapat dijawab benar dengan cara ditebak. Model ini

merupakan model yang lebih realistis dibandingkan dengan two-parameter model

dan one-parameter model. Probability bahwa peserta ujian dengan suatu level

ability θ akan menjawab suatu soal dengan benar untuk three-parameter model

ditentukan dengan persamaan 3 [BAK01].

[3]

Keterangan persamaan 3:

P(θ) = Probability peserta ujian dengan level ability θ menjawab soal dengan

benar

θ = Level ability peserta ujian, misal: -3 ≤ θ ≤ 3

a = Parameter discrimination dari soal, misal: -2.8 ≤ a ≤ 2.8

b = Parameter difficulty dari soal, misal: -3 ≤ b ≤ 3

c = Probability soal dapat dijawab benar dengan cara ditebak

11Pengembangan prototype...,LISA RIENELLDA IRSAL, FASILKOM UI, 2004

Mathematical model yang akan digunakan pada adaptive online test system dalam

tugas akhir ini adalah one-parameter model. Model ini dipilih karena model ini

merupakan model yang paling sederhana. Sedangkan skala ability yang akan

digunakan adalah –3 sampai 3.

2.3 Estimate Examinee’s Ability

Pada sub bab ini dibahas mengenai persamaan untuk mengestimasi ability peserta

ujian untuk one-parameter model dan two-parameter model. Persamaan untuk

mengestimasi ability peserta ujian untuk three-parameter model bisa didapat dari

persamaan untuk mengestimasi ability peserta ujian untuk one-parameter model

dan two-parameter model, dengan melakukan sedikit modifikasi, namun hal

tersebut tidak dibahas dalam sub bab ini.

Ability peserta ujian untuk two-parameter model dapat diestimasi dengan

menggunakan persamaan 4 [BAK01].

[4]

Keterangan persamaan 4:

= Estimasi ability peserta ujian saat iterasi ke-s, misal: -3 ≤ b ≤ 3

ai = Parameter discrimination dari soal ke-i

ui = Jawaban peserta ujian untuk soal ke-i, 1 jika benar dan 0 jika

salah

Pi ( ) = Probability peserta ujian dengan level ability di iterasi ke-s

menjawab soal ke-i dengan benar

Qi ( ) = 1 - Pi ( ), merupakan probability peserta ujian dengan level ability saat iterasi ke-s menjawab soal ke-i dengan salah

12Pengembangan prototype...,LISA RIENELLDA IRSAL, FASILKOM UI, 2004

Awalnya di-set pada suatu nilai tertentu. Nilai akan digunakan sebagai

estimasi ability peserta ujian. Jika terdapat kriteria pass-fail, nilai inisialisasi yang

baik untuk estimasi ability adalah sedikit di bawah kriteria pass-fail tersebut

[LIN00].

Persamaan untuk mengestimasi ability peserta ujian untuk one-parameter model

bisa didapat dari persamaan 4 dengan mensubstitusi a dengan angka 1.

Untuk two-parameter model, guna mengetahui akurasi dari estimasi ability yang

didapatkan, dapat dihitung standar error estimasi ability peserta ujian dengan

persamaan 5 [BAK01]. Standar error ini menunjukkan besar zone di atas dan di

bawah estimasi ability dimana ability yang sebenarnya (true ability) mungkin

terletak [LIN00].

[5]

Keterangan persamaan 5:

ai = Parameter discrimination dari soal ke-i Pi ( ) = Probability peserta ujian dengan level ability menjawab soal

ke-i dengan benar

Qi ( ) = 1 - Pi ( ), merupakan probability peserta ujian dengan level ability menjawab soal ke-i dengan salah

Persamaan untuk menghitung standar error estimasi ability peserta ujian untuk

one-parameter model bisa didapat dari persamaan 5 dengan mensubstitusi a

dengan angka 1. Besar standar error yang digunakan tergantung pada kebutuhan.

2.4 Test Characteristic Curve

Penguji maupun peserta ujian biasanya sudah familiar dengan nilai mentah dari

suatu ujian. Untuk ujian yang dinilai secara biner, dimana soal yang dijawab benar

13Pengembangan prototype...,LISA RIENELLDA IRSAL, FASILKOM UI, 2004

diberi nilai 1 dan soal yang dijawab salah diberi nilai 0, nilai mentah ujian didapat

dengan menjumlahkan nilai dari tiap soal dalam ujian. Misalnya untuk ujian yang

terdiri dari 10 soal, jika soal yang dijawab benar ada 7 soal, maka nilai mentah

untuk ujian itu adalah 7. Jadi nilai mentah untuk ujian yang terdiri dari N soal

akan selalu berupa bilangan integer dengan range 0 sampai N.

Dalam item response theory, dapat dihitung suatu nilai yang dinamakan dengan

true score. Seperti halnya nilai mentah, true score untuk N soal memiliki range 0

sampai N, tapi true score merupakan bilangan real. True score berguna untuk

menerjemahkan nilai estimasi ability peserta ujian ke dalam bentuk yang lebih

mudah untuk dimengerti. Setelah estimasi ability peserta ujian didapatkan, true

score peserta ujian dapat dihitung dengan persamaan 6 [BAK01].

[6]

Keterangan persamaan 6:

TSj = True score peserta ujian dengan level ability θj

Pi(θj) = Probability peserta ujian dengan level ability θj menjawab soal

i dengan benar

Kurva yang memperlihatkan hubungan antara ability dengan true score

dinamakan dengan test characteristic curve. Contoh test characteristic curve

untuk 10 soal dapat dilihat pada gambar 5 [BAK01]. Pada gambar 5, digunakan

skala ability –3 sampai 3.

Gambar 5 Test Characteristic Curve untuk 10 soal

14Pengembangan prototype...,LISA RIENELLDA IRSAL, FASILKOM UI, 2004

2.5 Algoritma Adaptive Online Test

Berdasarkan item response theory, dapat dikembangkan suatu algoritma untuk

melakukan adaptive online test guna mengetahui tingkat kemampuan peserta ujian

mengenai suatu subyek tertentu yang terdiri dari beberapa sub subyek yang dapat

saling bergantung. Yang dimaksud dengan subyek di sini adalah bidang ilmu yang

ingin diujikan, misalnya matematika. Sedangkan yang dimaksud dengan sub

subyek adalah topik-topik yang dicakup oleh bidang ilmu yang ingin diujikan.

Misalnya dalam subyek matematika tercakup sub subyek pertambahan,

pengurangan, perkalian, dan pembagian. Sub subyek yang tercakup dalam suatu

subyek dapat saling bergantung. Misalnya untuk subyek matematika, sub subyek

perkalian bergantung pada sub subyek pertambahan dan pengurangan, dan sub

subyek pembagian bergantung pada sub subyek perkalian, pertambahan, dan

pengurangan. Artinya, peserta ujian tidak mungkin menguasai sub subyek

perkalian jika belum menguasai sub subyek pertambahan dan pengurangan, dan

tidak mungkin menguasai sub subyek pembagian jika belum menguasai sub

subyek perkalian, pertambahan, dan pengurangan. Untuk tiap sub subyek, penguji

dapat menetapkan batas minimal estimasi ability yang diharapkannya sebagai

indikator bahwa peserta ujian sudah cukup menguasai suatu sub subyek. Ilustrasi

untuk menggambarkan ketergantungan sub subyek untuk subyek matematika

dapat dilihat pada gambar 6.

Pertambahan Pengurangan

Perkalian

Pembagian

Gambar 6 Contoh Ketergantungan Sub Subyek pada Subyek Matematika

Algoritma untuk melakukan adaptive online test guna mengetahui tingkat

kemampuan peserta ujian mengenai suatu subyek tertentu yang terdiri dari

beberapa sub subyek yang dapat saling bergantung adalah sebagai berikut:

15Pengembangan prototype...,LISA RIENELLDA IRSAL, FASILKOM UI, 2004

1. Cari kandidat sub subyek. Yang dimaksud dengan kandidat sub subyek

adalah sub subyek yang belum diujikan yang tidak bergantung pada sub

subyek lain dalam ujian, atau bergantung pada sub subyek yang sudah diujikan

dengan hasil estimasi ability yang memenuhi harapan penguji. Dengan

demikian, jika sub subyek a bergantung pada sub subyek b, dan setelah sub

subyek b diujikan ternyata hasil estimasi ability-nya tidak memenuhi harapan

penguji, maka sub subyek a tidak akan pernah menjadi kandidat sub subyek.

2. Jika kandidat sub subyek ada, maka dipilih salah satu kandidat sub subyek.

Sedangkan jika kandidat sub subyek tidak ada, maka ujian selesai.

3. Inisialisasi estimasi ability untuk sub subyek terpilih dengan nilai sedikit di

bawah estimasi ability yang diharapkan penguji.

4. Pilih soal dari sub subyek terpilih yang difficulty-nya mendekati estimasi

ability. Agar suatu soal tidak over-used, maka setiap kali pemilihan soal, jika

terdapat beberapa kandidat soal yang difficulty-nya mendekati nilai estimasi

ability, maka akan dipilih soal yang frekuensi penggunaannya paling kecil.

Jika masih belum didapatkan kandidat tunggal, maka soal akan dipilih secara

random.

5. Cek respon peserta ujian terhadap soal yang diberikan.

6. Update estimasi ability dengan persamaan 4.

7. Cek stopping criteria, yaitu jika:

- Standar error sudah cukup kecil (standar error dihitung dengan persamaan

5) atau

- Soal sudah habis atau

- Waktu ujian sudah habis.

8. Jika stopping criteria terpenuhi:

- Hitung true score dengan persamaan 6.

- Kembali ke nomor 1.

9. Jika stopping criteria tidak terpenuhi, pilih soal lain dalam sub subyek yang

sama, yang difficulty-nya mendekati estimasi ability peserta ujian, lalu

kembali pada nomor 5.

Jumlah soal untuk suatu sub subyek dalam bank soal yang diperlukan untuk

adaptive online test tergantung dari tujuan dan karateristik dari ujian itu sendiri.

16Pengembangan prototype...,LISA RIENELLDA IRSAL, FASILKOM UI, 2004

Namun, secara umum implementasi adaptive online test yang memuaskan bisa

didapat dengan menyediakan 100 soal untuk tiap sub subyek yang difficulty-nya

terdistribusi secara merata [RUD98].

17Pengembangan prototype...,LISA RIENELLDA IRSAL, FASILKOM UI, 2004