61
Bab 12 Reliabilitas Penilai dan Pengamat

Psikometri Bab a12

Embed Size (px)

DESCRIPTION

Psikometri Bab a12

Citation preview

Page 1: Psikometri Bab a12

Bab 12

Reliabilitas Penilai dan Pengamat

Page 2: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Bab 12

Reliabilitas Penilai dan Pengamat

A. Dasar

1. Penilai dan Pengamat

• Ada kalanya sekor tidak langsung diperoleh dari responden

• Kita menggunakan penilai dan pengamat untuk menentukan sekor

• Dalam pemberian sekor, penilai dan pengamat mengikuti kriteria tertentu

Page 3: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

2. Reliabilitas Penilaian dan Pengamatan

• Penilaian dan pengamatan menggunakan lebih dari satu penilai dan lebih dari satu pengamat

• Karena mengikuti kriteria penilaian dan pengamatan, perlu ada kecocokan di antara mereka

• Kecocokan ini merupakan reliabilitas yang sejenis dengan reliabilitas ukur-ukur setara

• Mula-mula, kecocokan dilakukan pada saat uji coba penilai dan pengamat sehingga dapat dilakukan koreksi yang diperlukan

• Pada saat penilaian dan pengamatan, digunakan penilai dan pengamat yang sudah diketahui kecocokannya

Page 4: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Kecocokan Intra-penilai/pengamat

• Penilai atau pengamat melakukan penilaian atau pengamatan lebih dari sekali

• Kecocokan di antara penilaian atau pengamatan ttu

• Setara dengan ukur-ukur ulang

Kecocokan Inter-penilai/pengamat

• Penilaian atau pengamatan dilakukan oleh lebih dari satu penilai atau satu pengamat

• Kecocokan di antara penilaian atau pengamatan itu

• Setara dengan ukur-ukur setara

Perhitungn untuk mereka adalah sama

Page 5: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

3. Jenis Kecocokan

Kecocokan hasil penilaian dan pengamatgan dapat berupa

• Kecocokan peringkat• Kecocokan kategori

Kecocokan Peringkat

• Sekor dapat saja berbeda tetapi kedudukan relatif di antara sekor atribut yang dinilai atau diamati adalah sama atau bersamaan

Kecocokan Kategori

• Hasil penilaian dan pengamatan berupa kategori dan hasil penilaian dan pengamatan menunjuk ke kategori yang sama atau bersamaan

Page 6: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Peniliai dan Pengamat

------------------------------------------------------------------------------

3. Kecocokan Peringkat

Dua penilai X dan Y memberi sekor kepada sejumlah atribut

Yang dinilai

1 2 3 4 5

Peni- X 80 70 60 50 40

lai Y 60 50 45 40 35

Kecocokan dapat dinyatakan melalui

• Koefisien korelasi Pearson (parametrik) atau rho Spearman (nonparametrik)

• Koefisien kecocokan tau Kendall

Page 7: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Dari contoh di atas, kecocokan peringkat melalui koefisien korelasi adalah

Koefisien Korelasi Pearson

ρ = 0,900

Koefisien Korelasi rho Spearman

ρ = 0,900

Koefisien tau Kendall

τ = 0,800

Koefisien ini dijadikan ukuran kecocokan peringkat penilaian di antara pengamat X dan Y

Page 8: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

4. Kecocokan Kategori

• Pengamat X dan Y mengamati hal yang sama serta menentukan kategori dari amatan mereka

• Misalnya keadaan kelas mereka amati serta mencatatnya setiap 5 detik. Keadaan kelas (guru berbicara, murid bertanya, …) dibagi menjadi lima kategori K1, K2, K3, K4, dan K5

• Hasil amatan menunjukkan

Kelas X Y

1 K1 K1

2 K1 K1

3 K1 K2

4 K1 K2

. . .

. . .

. . .

Page 9: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Dari contoh di atas tampak bahwa hasil amatan X dan Y itu

• Ada yang cocok seperti dua-duanya K1• Ada yang tidak cocok, satu K1 lainnya K2

Hasil amatan ini dapat disusun ke dalam matriks hasil amatan

Pengamat X

K1 K2 K3 K4 K5

K1 2

Peng- K2 2

amat K3

Y K4

K5

Page 10: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

• Pengamat X dan Y mengamati hal yang sama serta menentukan kategori dari amatan mereka

• Misalnya keadaan keadaan pasien yang diamati untuk menentukan sakit A, B, atau C. Hasil amatan menujukkan pasien yang sakit

• Hasil amatan menunjukkan

Pasien X Y

1 A A

2 A A

3 A B

4 B C

. . .

. . .

. . .

Page 11: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Dari contoh di atas tampak bahwa hasil amatan X dan Y itu

• Ada yang cocok seperti dua-duanya A• Ada yang tidak cocok, satu A lainnya B

Hasil amatan ini dapat disusun ke dalam matriks hasil amatan

Pengamat X

A B C

A 2

Peng-

amat B 2

Y

C

Page 12: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

B. Kecocokan Menurut Kategori

1. Kecocokan Kategori

• Kita membicarakan kecocokan penilai dan pengamat menurut kategori yang mereka berikan

• Hasil penilaian dan pengamatan disusun ke dalam matriks penilaian dan pengamatan

• Ukuran matriks bergantung kepada banyaknya kategori yang dihasilkan dari penilaian dan pengamatan

• Hasil penilaian dan pengamatan menunjukkan adanya kecocokan dan adanya ketidakcocokan

• Mereka dapat dinyatakan ke dalam frekuensi dan juga ke dalam proporsi

Page 13: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

2. Matriks Penilai dan Pengamat

Matriks dapat disusun ke dalam frekuensi atau ke dalam proporsi

Contoh 1 (dalam frekuensi)

Penilai P1 dan P2 menilai karangan dalam sekor A, B, dan C

P2 ni0

A B C

A 75 1 4 80

P1 B 5 4 1 10

C 0 0 10 10

n0i 80 5 15 100

Page 14: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 2 (dalam proporsi)

Contoh 1 diubah menjadi proporsi

n = jumlah seluruhnya p = proporsi seluruhnya

nii = jumlah yang cocok pii = proporsi yang cocok

ni0 = P1 untuk semua P2 pi0 = P1 untuk semua P2

n0i = P2 untuk semua P1 p0i = P2 untuk semua P1

P2 pi0

A B C

A 0,75 0,01 0,04 0,80

P1 B 0,05 0,04 0,01 0,10

C 0 0 0,10 0,10

p0i0,80 0,05 0,15 1,00

Page 15: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 3 (frekuensi)

Penilaian keadaan kelas dari pengamat P1 dan P2 untuk kategori amatan K1, K2, K2, K4, K5

P2 ni0

K1 K2 K3 K4 K5

K1 4 4 0 0 0 8

K2 2 8 0 0 0 10

P1 K3 0 0 6 0 0 6

K4 0 3 6 7 0 16

K5 0 5 0 0 5 10

n0i 6 20 12 7 5 50

Page 16: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 4 (proporsisi)

Contoh 3 dalam bentuk proporsi

P2 pi0

K1 K2 K3 K4 K5

K1 0,08 0,08 0 0 0 0,16

K2 0,04 0,16 0 0 0 0,20

P1 K3 0 0 0,12 0 0 0,12

K4 0 0,06 0,12 0,14 0 0,32

K5 0 0,10 0 0 0,10 0.20

p0i0,12 0,40 0,24 0,14 0,10 1,00

Page 17: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

3. Matriks Per Kategori

• Matriks penilaian dan pengamatan dapat direduksi menjadi matriks untuk setiap kategori

• Sebagai contoh, dari Contoh 1 dan 2, kita dapat menyusun matriks hanya untuk A. Kita dapat menyusun matriks hanya untuk B, serta hanya untuk C.

• Pada matriks per kategori, hanya frekuensi atau proporsi matriks itu yang diperhatikan, sedangkan kategori lainnya digabung dan diberi label ‘lainnya.’

• Ada tiga penggabungan: penggabungan pada baris kategori (kecuali kategori), pada lajur kategori (kecuali kategori), dan pada sisanya

Page 18: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 5

Dari contoh 1, matriks untuk kategori A

P2 ni0

A B C

A 75 1 4 80

P1 B 5 4 1 10

C 0 0 10 10

n0i 80 5 15 100

P2 ni0

A Lain-nya

A 75 5 80

P1 Lain-nya 5 15 20

n0i 80 20 100

Page 19: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 6

Dari contoh 2, matriks untuk kategori A

P2 pi0

A B C

A 0,75 0,01 0,04 0,80

P1 B 0,05 0,04 0,01 0,10

C 0,00 0,00 0,10 0,10

p0i 0,80 0,05 0,15 1,00

P2 pi0

A Lain-nya

A 0,75 0,05 0,80

P1 Lain-nya 0,05 0,15 0,20

p0i 0,80 0,20 1,00

Page 20: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 7

Dari contoh 1, matriks untuk kategori B

P2 ni0

A B C

A 75 1 4 80

P1 B 5 4 1 10

C 0 0 10 10

n0i 80 5 15 100

P2 ni0

B Lain-nya

B 4 6 10

P1 Lain-nya 1 89 90

n0i 5 95 100

Page 21: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 8

Dari contoh 2, matriks untuk kategori B

P2 pi0

A B C

A 0,75 0,01 0,04 0,80

P1 B 0,05 0,04 0,01 0,10

C 0,00 0,00 0,10 0,10

p0i 0,80 0,05 0,15 1,00

P2 pi0

B Lain-nya

B 0,04 0,06 0,10

P1 Lain-nya 0,01 0,89 0,90

p0i 0,05 0,95 1,00

Page 22: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 9

Dari contoh 1 dan 2, susun matriks untuk C dalam bentuk frekuensi dan proprosi

P2

ni0

pi0

C Lain-nya

C

P1 Lain-nya

n0i

p 0i

Page 23: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 10

Dari contoh 3 dan 4, susun matriks untuk K1

P2

ni0

pi0

K1 Lain-nya

K1

P1 Lain-nya

n0i

p 0i

Page 24: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 11

Dari contoh 3 dan 4, susun matriks untuk K2

P2

ni0

pi0

K2 Lain-nya

K2

P1 Lain-nya

n0i

p 0i

Page 25: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 12

Dari contoh 3 dan 4, susun matriks untuk K3

P2

ni0

pi0

K3 Lain-nya

K3

P1 Lain-nya

n0i

p 0i

Page 26: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 13

Dari contoh 3 dan 4, susun matriks untuk K4

P2

ni0

pi0

K4 Lain-nya

K4

P1 Lain-nya

n0i

p 0i

Page 27: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 14

Dari contoh 3 dan 4, susun matriks untuk K5

P2

ni0

pi0

K5 Lain-nya

K5

P1 Lain-nya

n0i

p 0i

Page 28: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

C. Indeks Kecocokan Per Kategori

1. Dasar indeks kecocokan

• Indeks kecocokan di antara penilai dan pengamat adalah ukuran kecocokan penilaian dan pengamatan di antara mereka

• Indeks kecocokan didasarkan pada besarnya kategori yang cocok nii atau pii di dalam matriks penilaian dan pengamatan

• Di dalam sejumlah indeks kecocokan, besarnya kategori yang cocok ini masih perlu dikurangi dengan besarnya kategori kebetulan cocok

• Dengan dasar ini serta sejumlah variasi ditemukan berbagai jenis indeks kecocokan

Page 29: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Berbagai jenis indeks kecocokan

Ada sejumlah indeks kecocokan penilai dan pengamat per kategori. Indeks kecocokan per kategori yang dibicarakan di sini meliputi

• Indeks kecocokan (Holley dan Guilford)• Indeks kecocokan (Maxwell)• Indeks kecocokan kappa (Cohen)• Indeks kecocokan (Goodman dan Kruskal)• Indeks kecocokan (Rogot dan Goldberg)

Indeks kecocokan (Holley dan Guilford) adalah kecocokan nominal yang hanya terdiri atas kategori yang cocok

Indeks kecocokan kappa (Cohen) mengurangi kategori kecocokan dengan kebetulan cocok. Indeks kecocokan kappa ini banyak digunakan orang

Page 30: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

2. Matriks Umum Kecocokan Per Kategori

Kita buat matriks umum dengan proporsi sebagai berikut

Kecocokan terletak pada a dan d

a + b + c + d = 1 p1 + q1 = 1

p2 + q2 = 1

P2 pi0

Kate-gori

Lain-nya

Kate-gori

a b p1

P1 Lain-nya

c d q1

p0i p2 q2 1,00

Page 31: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

3. Indeks Kecocokan (Holley dan Guilford)

Indeks kecocokan diperoleh dari a dan d

P0 = a + d

Contoh 15

Dari contoh 5, 6, 7, 8, dan 9

p0 (A) = 0,75 + 0,15 = 0,90

p0 (B) =

p0(C) =

Contoh 16

Daro contoh 10, 11,12, 13, dan 14

p0 (K1) =

p0 (K2) =

p0(K3) =

p0(K4) =

p0(K5) =

a bc d

p1

q1

p2 q2

Page 32: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

4. Indeks Kecocokan (Maxwell)

Indeks kecocokan ini adalah

p’0 = 2 p0 – 1

dengan p0 dari indeks kecocokan (Holley dan Guilford)

Contoh 17

Dari contoh 15,

p’0 (A) = (2)(0,90) – 1 = 0,80

p’0 (B) =

p’0 (C) =

Contoh 18

Dari contoh 16,

p’0 (K1) =

p’0 (K2) =

p’0 (K3) =

p’0 (K4) =

p’0 (K5) =

Page 33: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

5. Indeks Kecocokan Kappa dari Cohen

Pada dasarnya, indeks kecocokan kappa dari Cohen ini menggunakan kategori cocok I0 dikurangi dengan kategori kebetulan cocok Ie

Kategori kebetulan cocok diperoleh dari hubungan independensi pada probabilitas

Ie = P(A∩B) = P(A) . P(B)

Dengan demikian indeks kecocokan kappa dari Cohen menjadi

1221

2121

2121

0

2

1

1

qpqp

bcad

qqpp

qqppda

I

II

e

e

+−=

+−+−+=

−−=

)(

)(

)()(

κa b p1

c d q1

p2 q2

Page 34: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 19

Dari contoh 6, indeks kecocokan kappa Cohen dari A adalah

P2 pi0

A Lain-nya

A 0,75 0,05 0,80

P1 Lain-nya 0,05 0,15 0,20

p0i 0,80 0,20 1,00

6875,0

20,080,020,080,0

)05,005,015,075,0(2)(

=×+××−×=Aκ

Page 35: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Dari contoh 8, indeks kecocokan kappa Cohen dari B adalah

P2 pi0

B Lain-nya

B 0,04 0,06 0,10

P1 Lain-nya 0,01 0,89 0,90

p0i 0,05 0,95 1,00

Contoh 20

Dari contoh 8, indeks kecocokan kappa dari C adalah

κ(C) =

5000,0

90,005,095,010,0

)01,006,089,004,0(2)(

=×+××−×=Bκ

Page 36: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 21

Dari contoh 9 sampai 13, indeks kecocokan kappa adalah

κ(K1) =

κ(K2) =

κ(K3) =

κ(K4) =

κ(K5) =

• Catatan:

Indeks kecocokan kappa ini yang paling umum digunakan orang

Page 37: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

6. Indeks Kecocokan Spesifik

Ada dua macam indeks kecocokan berupa ps dan p’s masing-masing menggunakan kategori cocok dan kategori tidak cocok, dengan rumus

Contoh 22

Dari contoh 6, 7, dan 8, indeks kecocokan spesifik adalah

ps(A) = 0,9375 p’s(A) = 0,7500

ps(B) = p’s(B) =

ps(C) = p’s(C) =

cbd

dp

cba

ap ss ++

=++

=2

2

2

2 '

a b

c d

Page 38: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 23

Dari contoh 9 sampai 13, indeks kecocokan spesifik adalah

ps(K1) = p’s(K1) =

ps(K2) = p’s(K2) =

ps(K3) = p’s(K3) =

ps(K4) = p’s(K4) =

ps(K5) = p’s(K5) =

Page 39: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

7. Indeks Kecocokan (Goodman dan Kruskal)

Indeks kecocokan ini adalah

Contoh 24

Dari contoh 6 sampai 13,

λr(A) = 0,875

λr(B) =

λr(C) =

λr(K1) =

λr(K2) =

λr(K3) =

λr(K4) =

λr(K5) =

)(

)(

cba

cbar ++

+−=2

2λ a b

c d

Page 40: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilia dan Pengamat

------------------------------------------------------------------------------

8. Indeks kecocokan (Rogot dan Goldberg)

Indeks kecocokan ini menggunakan rumus

Contoh 25

Dari contoh 6 sampai 13, indeks kecocokan adalah

A(A) = 0,84375A(B) = A(C) = A(K1) = A(K2) = A(K3) = A(K4) = A(K5) =

2121 qq

d

pp

aA

++

+= a b p1

q1c dp2 q2

Page 41: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

D. Koefisien Kecocokan Semua Kategori

1. Dasar Perhitungan

Kecocokan per kategori dinamakan indeks kecocokan.

Kecocokan sekaligus untuk semua kategori dinamakan koefisien kecocokan

Perhitungan koefisien kecocokan dilakukan melalui matriks kecocokan lengkap (yang belum direduksi)

Perhitungan dapat dilakukan melalui frekuensi atau pun melalui proporsi

Pada perhitungan melalui frekuensi,

nii = frekuensi kategori cocok

ni0 = frekuensi pada P1 untuk semua P2

n0i = frekuensi pada P2 untuk semua P1

n = frekuensi semua kategori

Page 42: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

2. Jenis Koefisien Kecocokan

Seperti pada indeks kecocokan per kategori, pada koefisien kecocokan semua kategori, terdapat sejumlah koefisien kecocokan. Di sini dibicarakan koefisien kecocokan

• Koefisien kecocokan nominal• Koefisien kecocokan marginal• Koefisien kecocokan kappa dari Cohen• Keofisien kecocokan pi dari Scott• Koefisien kecocokan kappa perluasan Light• Koefisien kecocokan pi modifikasi Flander• Koefisien kecocokan pi modifikasi Garrett

Koefisien kecocokan nominal hanya menghitung kategori cocok

Koefisien kecocokan kappa dari Cohen mengurangi kategori cocok dengan kategori kebetulan cocok. Koefisien kecocokan kappa dari Cohen ini banyak digunakan orang.

Page 43: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

3. Matriks Kecocokan Semua Kategori

Matriks kecocokan semua kategori mencatat frekuensi atau proporsi kategori yang cocok maupun yang tidak cocok di antara dua pengamat

Contoh 26 (dalam frekuensi)

Penilai P1 dan P2 menilai karangan dalam sekor A, B, dan C

P2 ni0

A B C

A 75 1 4 80

P1 B 5 4 1 10

C 0 0 10 10

n0i 80 5 15 100

Page 44: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 27 (dalam frekuensi)

Penilai P1 dan P2 menghasilkan penilaian sebagai berikut

P2

ni0

L1 L2 L3 L4

L1 4 1 5

P1 L2 1 3 1 5

L3 1 5 6

L4 1 3 4

n0i 5 5 7 3 20

Page 45: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 28 (dalam frekuensi)

Pengamatan keadaan kelas dari pengamat P1 dan P2 untuk kategori amatan K1, K2, K2, K4, K5

P2 ni0

K1 K2 K3 K4 K5

K1 4 4 0 0 0 8

K2 2 8 0 0 0 10

P1 K3 0 0 6 0 0 6

K4 0 3 6 7 0 16

K5 0 5 0 0 5 10

n0i 6 20 12 7 5 50

Page 46: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 29 (dalam frekuensi)

Pengamatan dari pengamat P1 dan P2 menghasilkan matriks sebagai berikut

P2

R1 R2 R3 R4 R5 R6

R1 5 1 2

R2 2 6

P1 R3 4 2

R4 5 1

R5 4

R6 2 6

Page 47: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas penilai dan pengamat

------------------------------------------------------------------------------

4. Koefisien Kecocokan Nominal

Koefisien ini hanya memperhatikan kategori cocok yakni jumlah dari nii untuk dibagi dengan frekuensi total n.

Contoh 30

Dari contoh 26 sampai 29

Contoh 26: P0 = 89/100 = 0,89

Contoh 27: P0 =

Contoh 28: P0 =

Contoh 29: P0 =

∑= iinnP

10

n11

n22

n33

n

Page 48: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

5. Koefisien Kecocokan Marginal

Koefisien ini memperhatikan margin yakni ni0 dan n0i

Untuk setiap kategori pada margin,

Koefisien kecocokan marginal adalah

)(

)(

ii

iii nataunMaksimum

nataunMinimunP

00

000 =

kategoribanyaknyak

Pk

P i

=

= ∑ 00

1

n10

n01

n20

n02

n30

n03 n

Page 49: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 31

Dari contoh 26, koefisien kecocokan marginal

__

i P0i

1 80/80 = 1,00 __ 1

2 5/10 = 0,50 P0 = ----- 2,17 = 0,72

3 10/15 = 0,67 3

2,17

Contoh 32

Dari contoh 27 sampai 29, koefisien kecocokan

__ __

Contoh 27: P0 = Contoh 28: P0 =

__

Contoh 29: P0 =

Page 50: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

6. Koefisien Kecocokan Kappa Cohen

Koefisien ini mengurangi kategori cocok dengan kebetulan cocok

Kebetulan cocok menggunakan hubungan independensi pada probabilitas P(A∩B)=P(A).P(B)

Komponen cocok

Komponen kebetulan cocok

Koefisien kecocokan kappa Cohen

∑= iinnP

10

iiii

e nnnn

n

n

nP 002

00 1 ∑∑ ==

e

e

P

PP

−−=

10κ

n11

n22

n33

n01

n10

n20

n02

n30

n03 n

Page 51: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 33

Dari contoh 26,

i nii ni0 x n0i

1 75 80 x 80 = 6400 P0 = 89/100 = 0,89

2 4 10 x 5 = 50

3 10 10 x 15 = 150 Pe = 6600/10000

89 6600 = 0,66

n = 100 n2 = 10000

Dari contoh 27: κ =

Dari contoh 28: κ =

Dari contoh 29: κ =

67606601

660890

10 ,

,

,, =−

−=−−=

e

e

P

PPκ

Page 52: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

7. Koefisien Kecocokan Pi Scott

Koefisien ini juga mengurangkan kebetulan cocok dari kategori cocok

Kebetulan cocok dihitung dari kuadrat kategori cocok

Kategori cocok

Kategori kebetulan cocok

Koefisien kecocokan Pi Scott

∑= iinnP

10

∑∑ =

= 2

2

21

)( iiii

e nnn

nP

e

e

P

PP

−−=

10π

n11

n22

n33

n

Page 53: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 34

Dari contoh 26,

i nii n2ii

1 75 75 x 75 = 5625 P0 = 89/100 = 0,89

2 4 4 x 4 = 16

3 10 10 x 10 = 100 Pe = 5731/10000

89 5731 = 0,5731

n = 100 n2 = 10000

Dari contoh 27: π =

Dari contoh 28: π =

Dari contoh 29: π =

74230573101

57310890

10 ,

,

,, =−

−=−−=

e

e

P

PPπ

Page 54: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

8. Koefisien Kecocokan Kappa Perluasan Light

Koefisien kecocokan ini merupakan modifikasi dari koefisien kecocokan kappa dari Cohen

d0 = 1 – P0

de = 1 – Pe

Koefisien Kecocokan

Contoh 35

Dari contoh 26 melalui contoh 33,

d0 = 1 – P0 = 1 – 0,89 = 0,11 de = 1 – Pe = 1 – 0,66 = 0,34

κ = 0,6765

Dari contoh 27: κ =Dari contoh 28: κ =Dari contoh 29: κ =

ed

d01−=κ

Page 55: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

9. Koefisien Kecocokan Pi Modifikasi Flander

Koefisien ini merupakan modifikasi dari koefisien kecocokan Pi dari Scott

Kecocokan

Kebetulan cocok

n = total amatan P1 n’ = total amatan P2

Koefisien kecocokan

∑ −−='n

n

n

nP ii

f00

0 1

2

00

4

1∑

+=

'n

n

n

nP iief

ef

efff P

PP

−−

=10π

Page 56: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 36

Dari contoh 26,

1 0,80 0,80 0 2,56 2 0,05 0,10 0,05 0,0225 3 0,15 0,10 0,05 0,0625 0,10 2,6450

P0f = 1 – 0,10 = 0,90

Pef = ¼(2,6450) = 0,66125

πf = (0,90 – 0,66) / (1 – 0,66) = 0,71

Dari contoh 27: πf =

Dari contoh 28: πf =

Dari contoh 29: πf =

2

00000

+−

''' n

n

n

n

n

n

n

n

n

n

n

ni iiiiioi

Page 57: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

10. Koefisien Kecocokan Pi Modifikasi Garrett

Koefisien ini merupakan modifikasi dari koefisien kecocokan Pi dari Scott

Komponen cocok

Komponen kebetulan cocok

Koefisien kecocokan

kategorijumlahk

Pk

P

nataunMaksimum

nataunMinimumP

i

ii

iii

=

=

=

∑ 00

00

000

1

)(

)(

∑ +

+= 2

00

21

)(' iieg nnnn

P

eg

egg P

PP

−−

=10π

Page 58: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

Contoh 37

Dari contoh 26

1 80 80 1 25600

2 5 10 0,5 225

3 15 10 0,67 625

2,17 26450

___

P0 = 0,72 Peg = 0,66

πg = 0,1785

Dari contoh 27: πg =

Dari contoh 27: πg =

Dari contoh 29: πg =

2000'

00 )( iiiii nnPn

n

n

ni +

Page 59: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

E. Pengujian Hipotesis dan Estimasi Koefisien Kecocokan Kappa dari Cohen

1. Hipotesis H0: κ = 0

Pengujian hipotesis dan estimasi ini tidak biasa ditemukan di dalam statistika sehingga secara khusus dikemukakan di sini

Distribusi probabilitas pensampelan adalah distribusi probabilitas normal

Kekeliruan baku untuk κ = 0 adalah

Nilai baku

∑=

+−+−

=k

iiiiiee

e

ppppppnp 1

00002

1

1)(

)(κσ

κσκ=z

Page 60: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

2. Hipotesis H0: κ = κ0 (κ0 ≠ 0)

Kekeliruan baku untuk κ = κ0 (κ0 ≠ 0) adalah

dengan nilai baku

[ ]

[ ]2

200

2

200

1

1

1

11

1

)(

)()(

))((

)(

κκ

κ

κ

σ κ

−−=

+−=

−+−=

−−+=

∑∑∑

=

e

jiji

ij

ii

k

iii

e

pC

pppB

pppA

np

CBA

κσκκ 0−

=z

Page 61: Psikometri Bab a12

------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat

------------------------------------------------------------------------------

3. Estimasi κ

Pada interval keyakinan (1–α) nilai κ terletak di antara

dengan kekeliruan baku seperti pada κ = κ0 serta κs = koefisien kappa pada sampel

κακασκκσκ)()(

2

1

2

1 zz ss +≤≤−