Upload
syahida-iryani
View
139
Download
17
Embed Size (px)
DESCRIPTION
Education
Citation preview
UNIVERSITI PENDIDIKAN SULTAN IDRIS
SUBJEK:
KPN 6034
TEORI PSIKOMETRIK
PENSYARAH:
PROFESOR MADYA DR. SITI ESAH MOKSHEIN
TAJUK NOTA:
RELIABILITY
DISEDIAKAN OLEH:
SYAHIDA IRYANI BINTI MOHD YUSOFF
KURSUS:
SARJANA PENDIDIKAN
PENGUKURAN DAN PENILAIAN PENDIDIKAN
1
ISI KANDUNGAN
1. Kaedah Pra-pasca (Test-Retest @) Uji-UlangUji): Pearson ................................................... 3
1.1. Menggunakan Excel ......................................................................................................... 3
1.2. Menggunakan SPSS ......................................................................................................... 4
2. Konsistensi Dalaman ............................................................................................................... 7
2.1. Kaedah Ujian Bahagi Dua (Split-half): Spearman-Brown ............................................... 7
2.1.1. Menggunakan Excel.................................................................................................. 9
2.1.2. Menggunakan SPSS .................................................................................................. 9
3. Konsistensi Dalaman: Kaedah Cronbach-Alpha ................................................................... 12
3.1. Menggunakan Excel ....................................................................................................... 13
3.1. Menggunakan SPSS ....................................................................................................... 13
4. Konsistensi Dalaman: Kuder Richardson .............................................................................. 17
4.1. KR20 .............................................................................................................................. 18
4.2. KR21 .............................................................................................................................. 19
5. Ujian Bentuk Setara (Parallel Form) ................................................................................... 19
6. Alternate Form ...................................................................................................................... 20
7. Inter-rater Reliability ............................................................................................................ 21
8. Summarize ............................................................................................................................. 22
9. Reference ............................................................................................................................... 24
2
KEBOLEHPERCAYAAN DALAM PENYELIDIKAN
Terdapat beberapa kaedah yang digunakan untuk membina kebolehpercayaan pengukuran dalam
penyelidikan kuantitatif iaitu:
1. Pra-pasca (test-retest) (Instrumen)
2. Konsistensi Dalaman
i. Split-half (instrumen)
ii. Kuder-Richardson formula (item betul salah/dichotomos item)
iii. Cronbach Alpha (item likert)
3. Equivalent/Parallel Form
4. Alternate Forms
5. Inter-rater reliability
Ditunjukkan juga kaedah pengiraan menggunakan Microsoft Excel dan software Statistical
Package for the Social Sciences (SPSS) bagi4 kaedah pengiraan iaitu pra-pasca, split-half,
Spearman-Brown dan Kuder Richardson.
3
1. Kaedah Pra-pasca (Test-Retest @) Uji-UlangUji): Pearson
Melalui kaedah ujian pra-pasca (test-retest reliability), jikaujian yang sama diberikan pada
kali yang kedua dalam satu jangka masa tertentu dan keputusannya tetap akan sama dengan
keputusan kali pertama, maka ujian tersebut dikatakan mempunyai kebolehpercayaan yang
tinggi.
Pengkaji memilih satu kumpulan subjek (biasanya antara 30 hingga 50 subjek) yang
mempunyai ciri-ciri yang sama dengan subjek populasi kajiannya untuk menjalankan ujian
pra-pasca.
Misalnya, satu ujian untuk mengetahui gaya belajar pelajar yang sama diberi kepada
sekumpulan subjek kajian rintis pada bulan Januari dan bulan Jun. Keputusan menunjukkan
bahawa kumpulan subjek tersebut memperoleh nilai yang sama dalam ujian pra dan ujian
pasca tersebut. Maka, ujian tersebut dikatakan mempunyai kebolehpercayaan yang tinggi dan
sesuai digunakan untuk menguji subjek dalam populasi kajian.
Kebolehpercayaan kaedah ujian pra-pasca ini menggunakan analisis atau formula Pearson
seperti berikut:
1.1. Menggunakan Excel
Contohnya: Untuk melihat kebolehpercayaan instrumen gaya pembelajaran pelajar (boleh
percaya @ tidak).
2222
yynxxn
yxxynrxy
2ujianskor
1ujianskor
pelajarbilangan
y
x
n
4
1.2. Menggunakan SPSS
Di bawah merupakan data bagi 3 item auditori 108 orang pelajar Tingkatan 3 pra-pasca.
Langkah-langkah Analisis kebolehpercayaan Ujian Pra-pasca
a) Masukkan data ke dalam SPSS Data Editor
5
b) Pilih menu Analyze dan seterusnya Correlate dan Bivarate untuk membuka kotak
dialog Bivarate Correlations.
c) Pilih keenam-enam variable dan tekan butang di sebelahnya untuk memasukkan ke dalam
petak Variables. Klik Pearson di bawah Correlations Coefficients. Klik OK.
6
d) Keputusan Analisis
Correlations
A1 PascaA1 A2 PascaA2 A3 PascaA3
A1 Pearson Correlation 1 .739** .033 -.086 -.030 .119
Sig. (2-tailed) .000 .731 .375 .760 .219
N 108 108 108 108 108 108
PascaA1 Pearson Correlation .739** 1 -.023 -.016 -.110 .051
Sig. (2-tailed) .000 .810 .866 .258 .600
N 108 108 108 108 108 108
A2 Pearson Correlation .033 -.023 1 .316** .061 .054
Sig. (2-tailed) .731 .810 .001 .527 .579
N 108 108 108 108 108 108
PascaA2 Pearson Correlation -.086 -.016 .316** 1 -.035 -.083
Sig. (2-tailed) .375 .866 .001 .719 .391
N 108 108 108 108 108 108
A3 Pearson Correlation -.030 -.110 .061 -.035 1 .673**
Sig. (2-tailed) .760 .258 .527 .719 .000
N 108 108 108 108 108 108
PascaA3 Pearson Correlation .119 .051 .054 -.083 .673** 1
Sig. (2-tailed) .219 .600 .579 .391 .000
N 108 108 108 108 108 108
**. Correlation is significant at the 0.01 level (2-tailed).
Keputusan ujian korelasi Pearson di atas menunjukkan bahawa bagi kumpulan subjek ini
(n=108), ujian korelasi pra-pasca bagi 3 item auditori ialah 0.74, 0.32 dan 0.67 masing-
masing (pada aras kesignifikan p<0.05). Ini bererti bahawa instrument kajian ini sesuai dan
boleh dipercayai untuk memperoleh skor yang stabil daripada subjek lain yang mempunayi
siri-ciri yang sama dengan kumpulan subjek kajian ini.
7
2. Konsistensi Dalaman
2.1. Kaedah Ujian Bahagi Dua (Split-half): Spearman-Brown
Kelemahan ujian pra-pasca ialah responden akan menjawab item-item yang sama dalam
kedua-dua ujian pra dan pasca. Keadaan ini mungkin menyebabkan reponden merasa bosan
dan tidak dapt menjawab dengan baik dalam ujian pasca. Responden juga mungkin akan
berubah fikirannya kerana kesan sejarah dan kesan kematangan (setelah melalui satu tempoh
masa yang tertentu, keadaan responden tidak sama lagi kerana telah memperoleh pengalaman
baru dan lebih matang dalam pemikiran). Kaedah pemisahan separa (split-half) dapat
mengurangkan masalh ujian pra-pasca ini kerana responden hanya menjawab sekali sahaja
dalam kaedah ini.
Melalui kaerdah pemisahan separa, item-item dalam suatu ujian dipisahkan kepada dua
kumpulan item (dua bahagian) secara rawak. Jumlah skor bagi kedua-dua bahagian item
tersebut kemudian dikira, dan seterusnya nilai korelasi di antara kedua-dua kumpulan skor
tersebut dianalisis. Jika nilai korelasi bagi kedua-dua skor tersebut tinggi, maka item-item
ujian tersebut dikiatakan mempunyai kebolehpercayaan dalaman yang tinggi. Nilai pekali
korelasi antara 0.75 hingga 0.95 menunujukkan kebolehpercayaan yang memuaskan.
Program SPSS digunakan untuk mengira pekali pemisahan spera dengan cara menilai
keseragaman antara item-item kumpulan pertama dan kumpulan kedua (bahagian pertama
dan bahagian kedua) dalam analisis kebolehpercayaan. Sebelum menjalankan statistik ini,
pengkaji perlu memastikan bahawa item-item yang dimasukkan ke dalam bahagian pertama
dan bahagian kedua adalah seimbang. Cara ini boleh dilakukan dengan meletakkan item-item
ynag mengukur konsep yang sama dalam kumpulan berpasangan dan seterusnya ke dalam
dua kumpulan item.
Split-Half Reliability is a useful measure when impractical or undesirable to assess reliability
with two tests or to have two test administrations (because of limited time or money) (Cohen
& Swerdlik, 2001).
8
How do I use Split-Half?
1) 1st-divide test into halves. The most commonly used way to do this would be to
assign odd numbered items to one half of the test and even numbered items to the
other, this is called, Odd-Even reliability.
2) 2nd- Find the correlation of scores between the two halves by using the Pearson
formula.
3) 3rd- Adjust or reevaluate correlation using Spearman-Brown formula which increases
the estimate reliability even more.
The longer the test the more reliable it is so it is necessary to apply the Spearman-Brown
formula to a test that has been shortened, as we do in split-half reliability (Kaplan &
Saccuzzo, 2001).
Kebolehpercayaan kaedah ujian pemisahan separa ini menggunakan analisis atau formula
Equal Length Spearman-Brown seperti berikut:
r = correlation
r1/2,1/2 = kolerasi antara 2 subset
21,21
21,21
1
2
r
rrxx
9
2.1.1. Menggunakan Excel
Contoh: untuk mengetahui kebolehpercayaan instrumen gaya pembelajaran pelajar.
2.1.2. Menggunakan SPSS
Langkah-langkah Analisis Kebolehpercayaan Ujian Pemisahan Separa
a) Masukkan data ke dalam SPSS Data Editor. Klik menu Analyze dan Scale dan
seterusnya memilih Reliability Analisis untuk membuka kotak dialog Reliability
Analisis. Pilih item-item bahagian pertama iaitu item 1, 3, 5 dan 7 satu persatu untuk
dimasukkan ke petak items dengan menekan anak panah di sebelah kanannya.
10
b) Klik petak Model di sebelah bawah untuk memilih Split-half. Kemudian memasukkan
item-item bahagian kedua iaitu item 2, 4, 6 dan 8 ke dalam petak Items.
11
c) Klik Satistik untuk membuka kotak dialog Reliability Analysis: Statistics. Pastikan
item, Scale dan Correlations di dalamnya dipilih. Kemudian, klik butang Continue dan
Ok.
d) Keputusan Analisis
Reliability Statistics
Cronbach's Alpha Part 1 Value .352
N of Items 4a
Part 2 Value .426
N of Items 4b
Total N of Items 8
Correlation Between Forms .437
Spearman-Brown Coefficient Equal Length .608
Unequal Length .608
Guttman Split-Half Coefficient .606
a. The items are: A1, A3, A5, A7.
b. The items are: A2, A4, A6, A8.
12
Hasil analisis di atas menunjukkan bahawa pekali korelasi Equal-length Spearman-Brown
untuk kebolehpercayaan ialah 0.6. Maka, kebolehpercayaan instrumen gaya belajar adalah
kurang memuaskan.
3. Konsistensi Dalaman: Kaedah Cronbach-Alpha
Kaedah konsistensi dalaman dilakukan untuk mencari nilai korelasi antara skor setiap item
dalam ujian dengan jumlah skor bagi semua item dalam ujian (skor indeks ujian). Dalam
kaedah ini, item-item yang mempunyai nilai korelasi yang tinggi dengan skor indeks ujian
mempunyai kebolehpercayaan yang tinggi, manakala item-item yang mempunyai korelasi
yang rendah mempunyai kebolehpercayaan yang rendah dan tersingkir daripada ujian
tersebut. Kaedah ini sering digunakan ialah dengan mengira pekali kebolehpercayaan
Cronbach-Alpha untuk statistik kebolehpercayaan instrumen kajian.
Dalam statistik kebolehpercayaan instrumen kanian menggunakan pekali Cronbach-Alpha,
nilai alpha 0.65 hingga 0.95 dianggap memuaskan kerana nilai yang terlalu rendah
menunjukkan keupayaan item-item instrumen kajian mengukur konsepkonsep dalam kajian
adalah rendah. Manakala nilai alpha yang teralau tinggi mungkin menunjukkan semua item
adalah serupa atau bertindih antara satu sama lain dan mneggunakan item-item yang
bertindih antara satu sama lain adalah tidak diperlukan.
Kebolehpercayaan kaedah ujian konsitensi dalaman yang menggunakan Cronbach-Alphaini
mempunyai formula seperti berikut:
Ia berkait dengan KR20, cuma KR20 diguna bila data adalah berbentuk dichotomos sahaja.
2
2
11
xk
k
N
xx2
2var,
13
3.1. Menggunakan Excel
Contoh: Untuk mengetahui kebolehpercayaan instrumen kajian gaya pembelajaran pelajar.
3.1. Menggunakan SPSS
Langkah-langkah Analisis Kebolehpercayaan Ujian Konsistensi Dalaman: Cronbach
Alpha
a) Masukkan data ke dalam SPSS Data Editor. Klik menu Analyze dan Scale dan
seterusnya Reliability Analysis untuk membuka kotak dialog Reliability Analysis.
14
b) Pilih semua item untuk dimasukkan ke dalam petak Items dengan menekan butang anak
panah di sebelah kanannya. Pilih petak Model di sebelah bawah untuk memilih Alpha.
Klik Statistics untuk membuka kotak dialog Reliability Analysis: Statistics.
15
c) Pastikan Scale dan Scale if item deleted di dalam kotak dialog Reliability Analysis:
Statistics dipilih. Klik butang Continue dan Ok.
16
d) Keputusan Analisis.
Reliability Statistics
Cronbach's
Alpha N of Items
.581 8
Item-Total Statistics
Scale Mean if
Item Deleted
Scale Variance if
Item Deleted
Corrected Item-
Total Correlation
Cronbach's
Alpha if Item
Deleted
A1 19.90 8.653 .118 .589
A2 19.48 7.523 .271 .553
A3 20.29 7.459 .274 .552
A4 19.58 7.143 .403 .509
A5 19.97 7.149 .377 .517
A6 20.17 7.972 .141 .598
A7 19.70 7.668 .288 .547
A8 19.90 7.233 .424 .505
Keputusan analisis menunjukkan bahawa bagi instrument kajian ini, pekali
kebolehpercayaan alpha Cronbach ialah 0.581. Nilai kebolehpercayaan ini kurang
memuaskan. Walau bagaimanapun, dengan melihat nilai “If item deleted” didapati jika
A1 dan A6 disingkirkan, pekali kebolehpercayaaan alpha akan berubah menjadi 0.589
atau 0.598 (meningkat sedikit).
Berdasarkan keputusan di atas, pengkaji balik ke data editor dan menyingkirkan A1 dan
A6. Seterusnya, mengulangi analisis (Langkah a hingga c). Kemudian, analisis baru
ditunjukkan seperti dibawah:
17
Reliability Statistics
Cronbach's
Alpha N of Items
.605 6
Item-Total Statistics
Scale Mean if
Item Deleted
Scale Variance if
Item Deleted
Corrected Item-
Total Correlation
Cronbach's
Alpha if Item
Deleted
A2 14.12 5.284 .344 .559
A3 14.93 5.658 .222 .611
A4 14.22 5.240 .396 .537
A5 14.61 5.305 .350 .556
A7 14.34 5.611 .306 .574
A8 14.54 5.279 .432 .525
Didapati daripada analisis kedua bahawa, jika A3 disingkirkan, nilai alpha akan meningkat dari
0.605 kepada 0.611. Jadi, pengkaji harus menyingkirkan A3 dan proses ini akan berulang
sehinggalah tiada nilai item yang sekiranya disingkirkan melebihi nilai alpha yang dianalisis.
4. Konsistensi Dalaman: Kuder Richardson
There are two type of Kuder-Richardson Formula witch are Kuder-Richardson 20 (KR 20)
and Kuder-Richardson 21 (KR 21).
These are alternative formulas for calculating how consistent subject responses are among
the questions on an instrument. Items on the instrument must be dichotomously scored (0 for
incorrect and 1 for correct). All items are compared with each other, rather than half of the items
with the other half of the items. It can be shown mathematically that the Kuder-Richardson
reliability coefficient is actually the mean of all split-half coefficients resulting from different
splitting of a test. KR 21 assumes that all of the questions are equally difficult. KR 20 does not
assume that.
18
Formula kebolehpercayaan kaedah ujian konsitensi dalaman yang menggunakan KR20 dan
KR21 adalah seperti berikut:
(assume that all the items are
equally difficult)
4.1. KR20
2
11
20
pq
k
kKR
21
121
k
mkm
k
kKR
soalanjumlah
ujianjumlahbagivarians
)1(salahyangjawapanmendapatpelajarkadar
)10(betulyangjawapanmendapatpelajarkadar
2
k
pq
pp
ujian varians
ujianskor purata
itemjumlah
2
m
k
19
4.2. KR21
5. Ujian Bentuk Setara (Parallel Form)
Ujian bentuk setara menilai soalan yang berbeza dan set soalan yang bertujuan untuk
menilai konstruk yang sama.
Ia dilakukan dalam kombinasi dengan kaedah lain, seperti Split-half, yang
membahagikan item yang mengukur konstruk yang sama kepada dua ujian dan
mengaplikasikannya kepada kumpulan yang sama
Kebolehpercayaan bagi ujian ini juga boleh dilakukan dengan menggunakan ujian pra-
pasca (test-retest)
Ujian ini boleh menangani pelbagai bentuk sampel bagi keseluruhan domain kaedah ujian
pra-pasca.
Tetapi, ia memerlukan kerja yang kuat untuk membentuk dua ujian.
20
6. Alternate Form
This type of reliability makes a second form of a test consisting of similar items, but not the
same items. Researchers administer this second “parallel” form of a test after having already
administered the first form. This allows researchers to determine a reliability coefficient that
reflects error due to different times and items and allow to control for test form. By
administering form A to one group and form B to another group, and then form B to the first
group and form A to the second group for the next administration of the test, researchers are able
to find a coefficient of stability and equivalence. This is the correlation between scores on two
forms and takes into account error of different times and forms.
Ini juga bermakna bahawa:
Membuat dua ujian ujian terdiri daripada item yang serupa tetapi tidak perkara-perkara
yang sama.
Penyelidik mentadbir kedua-dua ujian ini secara "selari" bentuk ujian setelah sudah
ditadbir bentuk pertama.
Ini membolehkan penyelidik untuk menentukan pekali kebolehpercayaan; mungkin boleh
berlaku kesilapan kerana kali boleh untuk mengawal bentuk ujian.
Dengan mentadbir borang A ke satu kumpulan dan borang B untuk kumpulan lain, dan
kemudian membentuk B kepada kumpulan pertama dan membentuk kepada kumpulan
kedua bagi pentadbiran seterusnya ujian, penyelidik dapat mencari pekali kestabilan dan
kesetaraan.
Ini adalah korelasi antara skor dua bentuk dan mengambil kira kesilapan akaun kali
bentuk dan berbeza.
21
7. Inter-rater Reliability
When multiple people are giving assessments of some kind or are the subjects of some test, then
similar people should lead to the same resulting scores. It can be used to calibrate people, for
example those being used as observers in an experiment. Inter-rater reliability thus evaluates
reliability across different people. Two major ways in which inter-rater reliability is used are:
a) testing how similarly people categorize items, and
b) how similarly people score items.
This is the best way of assessing reliability when you are using observation, as observer bias
very easily creeps in.
Jadi, inter-rater reliability;
mengukur tahap kebolehpercayaan pemeriksa memeriksa ujian subjektif (spt karangan)
jenis kebolehpercayaan adalah yang paling sering digunakan apabila pemeriksa perlu
untuk memerhati dan menanda tindakan peserta dalam pembelajaran.
kaedah penyelidikan ini mendedahkan bagaimana pemeriksa bersetuju apabila menanda
set yang sama.
nama-nama lain bagi jenis ini ialah “inter scorer reliability” atau “inter observer
reliability”.
22
8. Summarize
Pearson
Spearman-
Brown
Cronbach
Alpha
Kuder
Richardson
i) Cronbach alpha, KR20, KR21, etc. – Mengukur ketekalan skor bagi sekumpulan pelajar.
• Individual: Jika seseorang pelajar mengambil ujian berulang kali, ketekalannya
ditunjukkan melalui Std Error of Measurement.
ii) Pekali kebolehpercayaan (parallel test),
Pekali kebolehpercayaan, r = kuasa dua Pekali kebolehpercayaan (r2),
atau ,
guna Spearman-Brown split-half formula.
Kebolehpercayaan tinggi apabila r menghampiri 1.0
Kebolehpercayaan tinggi apabila SE adalah kecil dan begitu juga sebaliknya.
iii) Observed scores can predict the true scores.
• Semakin kecil error, semakin tinggi kebolehpercayaan.
2222
yynxxn
yxxynrxy
21,21
21,21
1
2
r
rrxx
2
2
11
xk
k
2
11
20
pq
k
kKR
21
121
k
mkm
k
kKR
23
X = T + e
1. The higher the number of measurement we have, the higher the reliability would
be.
2. The higher the number of measurement we have, the smaller the SE.
24
9. Reference
Changing Minds. (2002). Types of Reliability. Retrieved December 7, 2012, from Changing
Minds: http://changingminds.org/explanations/research/design/types_reliability.htm
Heffner Media Group, Inc. (203-2004). Parallel Forms of Reliability. Retrieved December 7,
2012, from AllPsych Online: http://allpsych.com/stats/unit2/45.html
Jr., W. K. (2003). Reliability. Reasearch Skills for Psychology Majors: Everything You Need to
Know to Get Started.
Lancaster, C. (2010, April 21). Reliability! Difficulty! Discrimination! Or How do I interpret my
test results?! Retrieved December 11, 2012, from Apple tree:
http://www2.edserv.musc.edu/appletree/lancaster_appletree_4_10.pdf
Ledesma, R., & Molina, J. G. (n.d.). ViSta-CITA “Classical Item & Test Analysis with ViSta”.
Retrieved December 6, 2012, from http://www.mdp.edu.ar/psicologia/vista/Using-CITA.pdf
Piaw, C. Y. (2006). Statistik Kebolehpercayaan Instrumen Kajian. In C. Y. Piaw, Asas Statistik
Penyelidikan (Vol. 2, pp. 75-89). Kuala Lumpur: McGraw Hill Education.
Sambrose University. (2006, May 3). Test Reliability. Retrieved December 6, 2012, from 2007
History of Psychology Website:
http://web.sau.edu/WaterStreetMaryA/NEW%20intro%20to%20tests%20&%20measures%2
0website_files/reliability.htm
Siegle, D. (2002, September 24). Reliability. Retrieved December 11, 2012, from Instrument
Reliability: Educational Research :
http://www.gifted.uconn.edu/siegle/research/instrument%20reliability%20and%20validity/re
liability.htm