1

ตวแปรและการวดตวแปร

เครองมอวจย

การตรวจสอบคณภาพเครองมอวจย

ผชวยศาสตราจารยนคม ถนอมเสยง

สาขาวชาวทยาการระบาดและวชาชวสถต

คณะสาธารณสขศาสตร มหาวทยาลยขอนแกน

Web: http://home.kku.ac.th/nikom; Email: nikom@kku.ac.th

การรวบรวมขอมล

รายงานผล

กระบวนการวจยResearch Process

ปญหาการวจย

ทบทวนเอกสาร/วจย

กาหนดตวแปรทเกยวของ

วตถประสงค/สมมตฐาน

รปแบบการวจย

ประชากร/ตวอยางการวเคราะหขอมล

การแปรผลขอมล

นยามของการวด (Definitions of Measurement)หมายถงการกาหนดคาใหกบ บคคล (Persons) สตว (animals)

วตถ (objects) และเหตการณ (events) เพอแสดงถงปรมาณ

หรอคณภาพของลกษณะทสนใจ ตามโดยมกฎเกณฑ (rule)

หรอวธการทชดเจน (Stevens, 1951; Polager & Thomas, 2013)

ลกษณะทสนใจ ทางสถตเรยกวา “ตวแปร (Variable)”

นยามตวแปร (Definitions of Variables)ตวแปร หมายถง คณลกษณะหรอคณสมบตของตวอยางทสนใจศกษา

Type of Variables

categorical data

- nominal scale

- ordinal scale -discrete -count

Dependent, Independent variable

- response variable , dependent variable ,or Y variable

- explanatory variable, independent variable or X variable

nominal

ordinalequalitativ

data discrete

data continuousvequantitati

Categorical data

สเกลการวดของตวแปร

1. นามสเกล (nominal Scale) เพศ กลมเลอด

2. อนดบสเกล (Ordinal Scale) ทศนคต ความพงพอใจ

ระดบความเจบปวด

3. ชวงสเกล (Interval Scale) IQ อณหภม

4. อตราสวนสเกล (Ratio Scale) ชพจร ความดนโลหต

การวดเชงปรนยหรอการวดเชงวตถวสย (Objective measurements)-การวดเชงปรมาณหรอคณภาพทางกายภาพของบคคล หรอวตถ โดยใช เครองมอเฉพาะ เชนวดสมรรถภาพปอดใช Spirometry ฯลฯ• are measured by an observer (blinded or unblinded)• are often more precise than subjective measurements• can include archival data• ideal for measuring short-term conditions at a single point in time,

such as X-rays, blood pressure, or lung function• preferable as the main study outcomes because the potential for

bias is reduced(Peat, 2001. Health Science Research A handbook of quantitative methods.)

ประเภทของการวด (Type of Measurement)การวดเชงอตนยหรอการวดเชงอตวสย (Subjective measurements)

การวดเชงปรนยหรอการวดเชงวตถวสย (Objective measurements)

2

ประเภทของการวด (Type of Measurement)การวดเชงอตนยหรอการวดเชงอตวสย (Subjective measurements)-การวดปรมาณหรอคณภาพภายในตวของบคคลหรอวตถ โดยการใหลาดบ (Rating)

การตดสนใจ (judgment)

• can be a subject report or a researcher observation

• are prone to inconsistency and observer bias

• time is not a problem so that retrospective information can be

collected in addition to current information

• ask questions of importance to the sample

(Peat, 2001. Health Science Research A handbook of quantitative methods.)

ความคาดเคลอนในการวด (Measurement Error)ความคาดเคลอน (Measurement Error) หรอความผดพลาด

ความผดพลาดอยางมระบบ (Systematic Error)

สาเหตจากความลาเอยงหรออคต (bias) แกไขโดยแบบแผนการวจย

ทเหมาะสม

ความผดพลาดอยางสม (Random Error)

เกดโดยบงเอญ (chance) แกไขโดยใชวธการทางสถต

เลอกไมสามารถแกไขดวยแบบแผนการวจย

(ตวอยางเพยงพอ, การเลอกเครองมอทมความแปรปรวนนอย)

Diastolic Blood Pressure (mmHg)

อคต (Bias)

80 90

ความดนโลหตจรง (True)

(จากการวดในหลอดเลอด)

ความดนโลหตจากการวด

(Sphygmomanometer)

ความผดพลาดอยางมระบบ(Systematic Error)

ความผดพลาดอยางสม(Random Error)

ความบงเอญ (Chance)

.....................

จานว

นค

าสงเ

กต

Methods in Minimizing Measurement Error

Careful planning, training, Clear operational definition, Inspection of equipment.

การวดดานสขภาพ (Health Measurement)ความหมายสขภาพ (WHO, 1946)

“ภาวะทสมบรณ ทงกาย จตและสงคม ไมเพยงแตการปราศจากโรค

หรอความเจบปวยเทานน”(Health is a state of “complete physical, mental and social

well-being and not merely the absence of disease or infirmity”)

ความหมายสขภาพ (WHO, 1998)

“ภาวะทสมบรณ ทงกาย จต จตวญญาณและสงคม ไมเพยงแต

การปราศจากโรคหรอความเจบปวยเทานน”

(Health as a state of “physical, mental, spiritual and social

well-being and not merely the absence of disease or infirmity”

แนวคดการวดดานสขภาพวดสขภาพเชงบวก (Positive health measurement)

- วดผลลพธสขภาพดานความผาสก (Well being),

คณภาพชวต (quality of life)

วดสขภาพเชงลบ (Negative health measurement)

- วดผลลพธสขภาพดานการปวย (morbidity), การเสยชวต (mortality)

ผลลพธของการวจย (Research outcome)

- ผลลพธหลกของการวจย (Primary outcome)

- ผลลพธรอง (secondary outcome)

ผลลพธของการวจย (Research outcome)

ผลลพธหลกของการวจย (Primary outcome)

- ผลลพธทมความสาคญทสดในการวจย

ตามคาถาม/วตถประสงคหลกของการวจย

- ใชในการคานวณขนาดตวอยาง

- ใชเปนแนวทางในการเขยนแผนการวเคราะหขอมล

- ปรากฏในรายงานผลการศกษา

ผลลพธรอง (secondary outcome)

3

ผลลพธดานสขภาพ (Health Outcome)A health outcome is a change in the health of an individual,group of people or population which is attributable to anintervention or series of interventions.ตวอยาง- การเกดอาการไมพงประสงค (side effect) - ระยะเวลาการปลอดเหตการณ (survival time)- การเกดโรคซา (readmission)- ความไมพงพอใจ (Dissatisfaction)- คณภาพชวต (quality of life)- ความพการ (Disability)- ความไมสบาย (discomfort) - ปรมาณ...- เสยชวต (death)ฯลฯ

Criteria for selecting health measure

in health research สอดคลองกบคาถามวจย (Relevance)

นยามเชงปฏบตการได (Capability of operational definition)

เปนทยอมรบในสาขาวชาการ (Credibility)

มความแมนยา (Accuracy) มความตรง (validity)

ความเทยง (reliability) และไวตอการจาแนกความแตกตาง (Responsiveness, sensitivity)

สามารถนาไปใชในทางปฏบต (ไมยงยากและคาใชจายเหมาะสม)

Availability and cost

Operational DefinitionOperationalization

the process of converting theoretical ideas

to a tightly defined statement of

how variables are to be measured

Operational definition

of a variable is a statement of how the researcher

in a particular study choose to measure the variable

in question

นยามเชงทฤษฎ (Theoretical Definition)

ความหมายของตวแปรตามแนวคด (concept)

หรอทฤษฎ (Theory)

นยามเชงปฏบตการ (Operational definition)

ความหมายของตวแปรทชดเจน มความเปนรปธรรม

สงเกตหรอวดได สอดคลองกบความหมายตามแนวคด

หรอทฤษฎ

ตวอยาง

นยามเชงทฤษฎ (Theoretical Definition)

สวสดการ หมายถง “สงเอออานายใหคนมชวตทด

มสภาพการทางานทด และสะดวกสบาย”

(พจนานกรม ฉบบราชบณฑตยสถาน พ.ศ. 2542)

นนามเชงปฏบตการ (Operational definition)

สวสดการ หมายถง “รถรบสง บานพก คารกษาพยาบาล

คาเลาเรยนบตรทรฐมอบให ททาใหบคลากร

มความสะดวกสบายในการทางาน)

Criteria for selecting outcome measure (Fitzpatrick et al. 1998)1. ความเหมาะสม (Appropriateness) เนอหาของเครองมอเหมาะสม

กบคาถามทตองการศกษา 2. การยอมรบ (Acceptability) เครองมอเปนทยอมรบในทางวชาการและ

กลมตวอยาง 3. ความเปนไปได (Feasibility) เครองมองายตอการจดการและการดาเนนการ4. ความตรง (Validity) เครองมอวดไดตามความเปนจรง5. ความเชอถอได (Reliability) เครองมอใหผลเหมอนกน

หรอสมาเสมอและมความคงเสนคงวาภายใน 6. การตอบสนอง (Responsiveness) เครองมอสามารถวดการเปลยนแปลงทเกดขน

กบตวอยาง ไดตลอดเวลา 7. ความเทยง (Precision.) คะแนนหรอคาทวดจากเครองมอ เมอวดแลวใหคาคงเดม

หรอมความแปรปรวนนอย8. แปลผลได (Interpretability) คาคะแนนทไดจากเครองมอวด สามารถอธบายได

หรอแปลความหมายไดตรงกน

4

How do I choose a outcome for my study?

1. Appropriateness

8. Interpretability 2. Acceptability

7. Precision 3. Feasability

4. Validity6. Responsiveness

5. Reliability

How do I choose

a outcome measure

for my study?

เครองมอทใชในการเกบรวบรวมขอมล1.เครองมอทใชเกบขอมลเชงปรมาณ เชน1.1. เครองมอวดทางกายภาพ (Physical instrument) เชนเครองชงนาหนก

เครองวดสวนสง เครองวดความดนโลหต ฯลฯ1.2. เครองมอทางชวภาพ (Biological instrument) เชน Spirometry, 1.3. เครองมอวดทางเคม (Chemical instrument) เชน เครองมอวดระดบ

นาตาลในเลอดหรอปสสาวะ, เครองมอวดระดบแอลกอฮอล3. แบบสอบถาม (Questionnaire) 4. แบบทดสอบ (test)5. แบบสงเกต (observation tools) การสงเกตแบบมสวนรวม และ

การสงเกตแบบไมมสวนรวม6. แบบสมภาษณ (Interviews)

เครองมอวจย (research instruments, tools)หมายถง เครองมอทใชวดขอมลในหวขอทสนใจจากตวอยางวจย(Research Instruments are measurement tools designed to obtain data on a topic of interest from research subjects)

วธการเกบรวบรวมขอมลและเครองมอทใช

Checklist, แบบรวบรวมขอมลขอมลทรวบรวมไวแลว

แบบสอบถาม, แบบทดสอบหรอแบบวดการสอบถาม

แบบสมภาษณ, checklist,

digital recorder, tape recorder

การสมภาษณ

แบบบนทกการสงเกต checklist, rating scaleการสงเกต

เครองมอวดทางกายภาพ เครองชงนาหนก,

เครองมอทางชวภาพ Spirometry,

เครองมอวดทางเคม (Chemical instrument) เชน

เครองมอวดระดบนาตาลในเลอดหรอปสสาวะ

การวดขอมลเชงปรมาณ

เครองมอทใชรวบรวมขอมลวธการเกบรวบรวมขอมล

แบบสอบถาม (Questionnaire)

ชดเอกสารทสรางขนเพอใชเกบรวบรวมขอมล โดยมสวนของขอคาถาม

และสวนคาตอบเพอใหตวอยางตอบขอคาถามนนๆ

สวนประกอบของแบบสอบถาม1. ปกหนา เชนชอโครงการวจย ผวจย ชอทอยของหนวยงานททาวจย

สญลกษณ ขอความขอความรวมมอ

2. สวนคาถาม ประกอบดวย

2.1 คาอธบายวธการตอบ

2.2 คาถามขอมลพนฐาน เชน เพศ อาย การศกษา อาชพ รายได

2.3 คาถามทเปนประเดนในการตอบคาถามวจยหรอวตถประสงค

2.4 สวนคาถามทใชอธบายเพม (ถาม)

3. คาขอบคณ

ประเภทของแบบสอบถามแบบสอบถามปลายปด (Closed-ended Questionnaire)

ก. แบบสารวจรายการ (checklist)

เพศของทาน 1. ชาย 2. หญงสถานภาพการสมรสปจจบนของทาน

1. โสด 2. สมรสและอยรวม 3. สมรสแยกกนอย

4. หมาย 5. แยก

เมอพดถงประกนสงคมทานนกถงอะไร (เลอกเรยงลาดบตามความสาคญกอนไปหลง โดยเรยงหมายเลข 1, 2, 3, 4, 5ลงในชอง ) เงนทดแทนจากการขาดรายได หลกประกนในการดารงชวต การคมครองความเสยงของชวต การรกษาพยาบาล สทธประโยชน

ข. แบบจดอนดบ

-ใหผตอบพจารณาเรยงลาดบกอนหลง เชนจากมากไปนอยหรอนอยไปมาก

เรยงลาดบสาคญกอนหลง

5

ไมพงพอใจ (not at all satisfied) ไมเหนดวยอยางยง (strongly disagree)

พงพอใจนอย (little satisfied) ไมเหนดวย (disagree)

พงพอใจปานกลาง (moderate satisfied) เหนดวยปานกลาง (moderate agree)

พงพอใจมาก (quit satisfied) เหนดวย (agree)

พงพอใจมากทสด (very satisfied) เหนดวยอยางยง (strong agree)

วดระดบความพงพอใจ วดระดบความคดเหน

มาตราประมาณคา

ค. มาตราการประมาณคา (rating scale)

-ใหผตอบพจารณาขอคาถาม และเลอกตอบตาม ระดบความคดเหน ระดบ

ความพงพอใจ ระดบการปฏบต หรอระกบคณภาพ ฯลฯ

คณภาพดแยมาก/ไมด (very bad/not good) ไมเคย (never)

คณภาพไมคอยด (not so good) นอยครง (rarely)

คณภาพดปานกลาง (neither good or bad) บางครง (sometime)

คณภาพด (good) บอยครง (alway)

คณภาพดเยยม (excellent) ทกครง เปนประจา (usually

วดระดบคณภาพ วดระดบความถการปฏบต

มาตราประมาณคา

ค. มาตรการประมาณคา (rating scale) –ตอ-

วดระดบความคดเหน เหนดวยอยางยง (strong agree) เหนดวย (agree) ไมแนใจ (uncertain) ไมเหนดวย (disagree) ไมเหนดวยอยางยง (strongly disagree)

ง. มาตราวดของลเครท (Likert scale)

-ใหผตอบพจารณาขอคาถาม และเลอกตอบตาม ระดบความคดเหน ระดบ

ความพงพอใจ ระดบการปฏบต หรอระกบคณภาพ ฯลฯ

จ. มาตราวดจาแนกความหมาย (Semantic differential scale)

พฒนาโดย Osgood, Suci & Tannenbaum (1957) ใชวดเจคตหรอ

ความเชอทมตอสงใดๆ

ประกอบดวยคาคณศพท 2 คา ทมความหมายตรงกนขาม(opposite adjectives)

ชองระหวางคาคณศพท สวนมากแบงเปน 7-9 ชวง ใหคะแนน 1-7, 1-9

7654321

Osgood's semantic differential measures these three factors. It contains sets of

adjective pairs such as warm-cold, bright-dark, beautiful-ugly, sweet-bitter,

fair-unfair, brave-cowardly, meaningful-meaningless.

นาเบอ นาสนใจ

ฉ. มาตราวด Visual Analog scaleA Visual Analogue Scale (VAS) is a measurement instrument that tries to measure a characteristic or attitude that is believed to range across a continuum of values and cannot easily be directly measured.It is often used in research to measure the intensity or frequency ofvarious symptoms. ตวอยาง Numerical pain scale

0 1 2 3 4 5 6 7 8 9 10

ไมปวด ปวดมากทสด

ช. มาตราวดแบบรปภาพ (pictorial scale)

มความสขมากไมมความสขเลย

faced pain scale picture

แบบสงเกต - เครองมอวจยทใชรวบรวมพฤตกรรมของตวอยางในการวจย โดยการสงเกต

ใชวธ การสงเกตแบบมสวนรวม (participant observation) หรอการสงเกตไมมสวนรวม (participant observation)แบบสงเกตทใชเชน แบบสงเกตสารวจรายการ (checklist), แบบสงเกตแบบมาตรการประมาณคา (rating scale)

แบบสมภาษณ (interviews)- แบบสมภาษณแบบไมมโครงสราง (un-structure interview)- แบบสมภาษณแบบกงโครงสราง (semi-structure interview)- แบบสมภาษณแบบมโครงสราง (structure interview)

6

แบบทดสอบ (Test)ชดของขอคาถามทสรางขนเพอใชวดความร สตปญญา ความถนด

และบคลกภาพของตวอยาง

ชนดของแบบทดสอบ

1. แบบทดสอบวดสมฤทธ (achievement test) แบบทดสอบ

ทสรางขนเอง, แบบทดสอบมาตรฐาน (standardized test)

2. แบบทดสอบวดความถนด ( aptitude)

3. แบบทดสอบวดบคลกภาพ เชนแบบทดสอบวดทศนคต แบบทดสอบ

วดความสนใจ แบบทดสอบวดการปรบตว

แบบทดสอบแบบปรนย (objective test)

1. แบบตอบสนๆ

2. แบบเตมคา

3. แบบจบค

4. แบบถก-ผด

5. แบบเลอกตอบ

แบบทดสอบอตนย (eassy test)

แบบทดสอบทเปนคาถามทใหตวอยางไดแสดงความสามารถของตนเอง

ในการตอบตามความรและความคดเหนของตนเอง เชน

Modified Essay Question (MEQ)

ประเภทของแบบสอบถามแบบสอบถามปลายเปด (Open-ended Questionnaire)

ไมไดกาหนดคาตอบใหเลอกตอบ

ใหผตอบไดตอบอยางอสระ

ไดคาตอบหลากหลายลกษณะ เพอนามาวเคราะหเนอหา หรอ

คนหาขอสรป

ตวอยาง

ผลกระทบของการเปนโรคเอดส มในดานใดบาง

................................................................................…....................

...............................................................................….....................

ความสามารถของการวด (Performance of Measurement)

ความตรง (Validity) ระดบ (level) การวดของขอมล มความเปนจรง

(true) กบปรากฏการณ (phenomena)

ความเทยง (Reliability) ความคงทของผลลพธ จากการวดเหตการณ

ซาๆ กน โดยไมคานงวาจะวด กลมคนทแตกตางกน เครองมอท

แตกตางกน เวลาและสถานท ทแตกตางกน ใหผลลพธจากการวด

เหมอนๆ กน

สง

ความเทยง

(reliability)

ตา

ความตรง (validity)สง ตา

.....

. ..

. .

.....

. ... .

X X

ทฤษฎการวด (Theory of Measurement)

E = S + R

คาคลาดเคลอนอยางมระบบ (Systematic Error )

คาคลาดเคลอนอยางสม(Random Error)

X = T + E

คาจากการวด = คาจรง + คาทคลาดเคลอน

สาเหต Tester or RaterMeasurement InstrumentVariability of characteristics being measured

7

Rater reliability(ความเทยงของผวด)

- Inter-Rater- Intra-Raterinternal consistency

(ความสอดคลองภายใน ) Response stability

(ความคงท) or Test-Retest)

Alternate form(เครองมอทคลายกน )

-Kappa, ICC, CCC

Kuder-Richardson formula 20

Coefficient Alpha (Cronbach)

Item-Total Correlation

Spearman-Brown/ Guttman

Correlation CoefficientCCC, ICC, Kappa, CV, SEM

Correlation Coefficient

CCC, Kappa

{{{

สถตทใชทดสอบความเทยง สถตสาหรบการวเคราะหความเทยง Measure of Agreement (categorical data)

Kappa Statistics

Weight Kappa StatisticsMeasure of Agreement (continuous Data)

Concordance correlation coefficient (CCC)

Limit of Agreement (LOA)

Bland-Altman Plot

Intraclass correlation coefficient (ICC)

Nn.2n.1รวม

n2.dc-

n1.ba+

รวม-+

Rater BRater

A

a = ใหผลเชงบวกเหมอนกนd = ใหผลเชงลบเหมอนกน

p..p.2p.1รวม

p2.p22p21-

p1.p12p11+

รวม-+

Rater BRater

A

สถต Kappae

eo

p

ppk

1

ˆ

po = ความนาจะเปนความสอดคลองของคาสงเกต

pe = ความนาจะเปนความสอดคลองของคาคาดหมาย

NN

)(nn

N

)(nn

p

N

d)(ap

e

2..21..1

0 ,

..

2..21..1 )()(

p

pppppe

= 1.00

การแปลความหมายของคาสถต Kappa

(Landis & Koch, 1977)

ดมาก/คอนขางสมบรณ

(Almost Perfected)

0.81-1.00

ด (Sub Stantial)0.61-0.80

ปานกลาง (Moderate)0.41-0.60

พอใช (Fair)0.21-0.40

นอย (Slight)0.00-0.20

แย (Poor)<0.00

ขนาดความสอดคลอง

(Strange of Agreement)

คาสถต

Kappa

421428รวม

211011-

21417+

รวม-+

Rater BRater A

. kap rater_A rater_B, tab ExpectedAgreement Agreement Kappa Std. Err. Z Prob>Z-----------------------------------------------------------------64.29% 50.00% 0.2857 0.1455 1.96 0.0248

Inter-intra-observer Reliability of

MRI for Lumbar Lateral Disc

Herniation

Nn.k…n.2n.1รวม

nk.k

……

n2.2

n1.1

k…21รวม

ผวด/เครองมอวด 2ผวด/

เครองมอวด1

ใหผลสอดคลองกน

Weight Kappa

e(w)

e(w)(w)w p

ppk

1ˆ 0

k

1i

k

1j.j.jije(w)

k

1i

k

1jijij0(w)

ppwp

pwp

การคานวณ weight1k

ji1w ij

2

2

ij 1)(k

ji1w

8

การวนจฉยโรคมะเรงโดยการอานผลจากการทา xeromammogramsโดยรงสแพทย (normal, Benign, Suspected cancer, cancer)

853163828รวม

11000cancer

2921593Suspected cancer

2201174benign

33001221normal

รวมcancerSuspected cancerBenignnormalคนท 1

รงสแพทยคนท 2รงสแพทย

. kap rater_A rater_B [freq=pop], wgt(w)Ratings weighted by:

1.0000 0.6667 0.3333 0.00000.6667 1.0000 0.6667 0.33330.3333 0.6667 1.0000 0.66670.0000 0.3333 0.6667 1.0000

ExpectedAgreement Agreement Kappa Z Pr>Z------------------------------------------------------

86.67% 69.11% 0.5684 7.22 0.0000

Concordance Correlation Coefficient (CCC) พฒนาโดย Lin (1989) ขอจากดของการใชสหสมพนธ Pearson มความสมพนธแต

ไมสอดคลอง

222 )(

2

yxSS

SrS

yx

yxc

;))((

1

n

yyxxs

n

ixy

222 )(

2

yxSS

S

yx

xyc

n

yys

n

xxs

n

iy

n

ix

1212

)(;

)(

yx

xy

ss

sr

ขอมล (1, 5) (2, 6) (3, 7) (4, 8) (5. 9)

20.0

;00.1

c

00.1

;00.1

c

ตวอยางความสอดคลองคา peak expiratory

flow rate (PEFR) เมอวดดวย large Wright

peak flow meter และ mini Wright peak

flow meter

451427350423

259178

477478

260267

626656

432417

445433

658650

380442

364413

600557500476

428434

520516

430395

512494

MiniWright

วเคราะหดวย Stata. concord Wright Mini, summary

Concordance correlation coefficient (Lin, 1989, 2000):rho_c SE(rho_c) Obs [ 95% CI ] P CI type---------------------------------------------------------0.943 0.029 17 0.887 0.999 0.000 asymptotic

0.850 0.979 0.000 z-transform

Pearson's r = 0.943 Pr(r = 0)=0.000 C_b = rho_c/r=0.999Reduced major axis: Slope = 1.028 Intercept = -14.908…

Limit of Agreement (LOA)- พจารณาความแตกตางระหวางคาทนามาวดความสอดคลอง

di=(xi-yi) - คานวณชวงความเชอมน - อธบายความสอดคลองดวยกราฟ LOA

dSZd 2/1

วเคราะหดวย Stata . concord Wright Mini, ccc

Intraclass Corelation Coefficient (ICC) วด Reliability: Consistency (CA-ICC) หรอ

Absolute agreement (AA-ICC) พฒนาโดย Bartko (1966), Shrout & Fleiss (1979) ประกอบดวย โมเดล CA-ICC(m, k), AA-ICC

CA-ICC= Consistency agreement ICCAA-ICC= Absolute agreement ICC

m=1 วเคราะหจาก One-Way ANOVAm=2, 3 วเคราะหจาก ANAVA with Repeated measured

(โมเดล=2 สม Rater; โมเดล = 3 Fixed Rater)k = 1 วดโดย 1 Rater k =k ใดๆ คาเฉลยของ k Rater

error)/k]t measuremenraterinyvariabilit(yvariabilit[subject

yvariabilitsubject

error/k]t measuremenyvariabilit[subject

yvariabilitsubject

ICCAA

ICCCA

Consistency VS Absolute Agreement rater A (1, 2, 3) rater B (5, 6, 7) consistency =1 ไมใช Absolute Agreement (AA-iCC=.18)

rater A (1, 2, 3) rater B (1, 2, 3)consistency = Absolute Agreement=1

WMSWithin Subject

BMSBetween subject

P-ValueFMSSSdfSource of

variance 1)WMS](k[BMS

WMS)(BMS)1,1(

ICC

BMS

WMS)(BMS),1(

kICC

ตาราง One-Way ANOVA สาหรบ ICC(1,1), ICC(1,k)

BMS=Between-Subject Mean Square; WMS=Within Mean Square of Subject

9

]EMS-k(RMS

)1([BMS

EMS)(BMS)1,2(

nEMSk

ICCAA

n

EMS-RMSBMS

EMS)(BMS),2(

kICCAA

With in Subject

RMSBetween Rater

EMSError

BMSBetween subject

P-ValueFMSSSdfSource of variance

ตาราง ANOVA with Repeated Measure สาหรบโมเดล 2, 3

BMS=Between-Subject Mean Square RMS=Between Rater Mean SquareWMS=Within Mean Square of Subject EMS=Error Mean Square

BMS

EMS)(BMS),3(

kICCCA

BMS

EMS)(BMS),2(

kICCCA

EMSkICCCA

)1(BMS

EMS)(BMS)1,3(

EMSkICCCA

)1(BMS

EMS)(BMS)1,2(

]EMS-k(RMS

)1([BMS

EMS)(BMS)1,3(

nEMSk

ICCAA

n

EMS-RMSBMS

EMS)(BMS),3(

kICCAA

ตวอยาง ในการประเมนความสอดคลองของผ วด 2 คน สมมา 3 รายประเมนตวแปรทสนใจ

743

632

521

rater 2rater 1subject

. icc score subject rater, mixed…Two-way mixed-effects modelConsistency of agreementRandom effects: subject Number of targets = 3Fixed effects: rater Number of raters = 2-------------------------------------------------------

score | ICC [95% Conf. Interval]----------------+--------------------------------------

Individual | 1 . .Average | 1 . .

-------------------------------------------------------

. icc score subject rater,abs mixed…Two-way mixed-effects modelAbsolute agreementRandom effects: subject Number of targets = 3Fixed effects: rater Number of raters = 2-------------------------------------------------------

score | ICC [95% Conf. Interval]----------------+--------------------------------------

Individual | .1818182 .0002779 .8953642Average | .3076923 .0005556 .9447939

-------------------------------------------------------

. icc score subject rater,cons…Two-way random-effects modelConsistency of agreementRandom effects: subject Number of targets = 3Random effects: rater Number of raters = 2-------------------------------------------------------

score | ICC [95% Conf. Interval]----------------+--------------------------------------

Individual | 1 . .Average | 1 . .

-------------------------------------------------------

. icc score subject rater…Two-way random-effects modelAbsolute agreementRandom effects: subject Number of targets = 3Random effects: rater Number of raters = 2-------------------------------------------------------

score | ICC [95% Conf. Interval]----------------+--------------------------------------

Individual | .1818182 .0002779 .8953642Average | .3076923 .0005556 .9447939

-------------------------------------------------------

ICC(2,1), (2,k) ICC(3,1), (3,k)

. icc score subject rater,cons…Two-way random-effects modelConsistency of agreementRandom effects: subject Number of targets = 3Random effects: rater Number of raters = 2-------------------------------------------------------

score | ICC [95% Conf. Interval]----------------+--------------------------------------

Individual | 1 . .Average | 1 . .

-------------------------------------------------------

. icc score subject rater…Two-way random-effects modelAbsolute agreementRandom effects: subject Number of targets = 3Random effects: rater Number of raters = 2-------------------------------------------------------

score | ICC [95% Conf. Interval]----------------+--------------------------------------

Individual | .1818182 .0002779 .8953642Average | .3076923 .0005556 .9447939

-------------------------------------------------------

ICC(2,1), (2,k). icc score subject rater, mixed…Two-way mixed-effects modelConsistency of agreementRandom effects: subject Number of targets = 3Fixed effects: rater Number of raters = 2-------------------------------------------------------

score | ICC [95% Conf. Interval]----------------+--------------------------------------

Individual | 1 . .Average | 1 . .

-------------------------------------------------------

. icc score subject rater,abs mixed…Two-way mixed-effects modelAbsolute agreementRandom effects: subject Number of targets = 3Fixed effects: rater Number of raters = 2-------------------------------------------------------

score | ICC [95% Conf. Interval]----------------+--------------------------------------

Individual | .1818182 .0002779 .8953642Average | .3076923 .0005556 .9447939

-------------------------------------------------------

ICC(3,1), (3,k)

ความสอดคลองภายใน (internal consistency)

-Kuder-Richardson formula 20 (KR-20)

-Coefficient Alpha (Cronbach)

-Item-Total Correlation

-Inter item correlation

-Spearman-Brown/Guttman

โมเดล Domain-Sampling

-สรางขอคาถามครบ ไดคะแนนจรง (true Score)

-ขอคาถามแตละขอทสรางวดในเรองเดยวกน

แสดงวา “ขอคาถามแตละขอมสวนรวม

(core) ในการวด (สมพนธ)”

item1

...

item2

item3Item Nitem5

item4

item1item1

item5 Item4

DOMAIN

แบบสอบถาม...

Item=ขอคาถาม

10

Kuder-Richardson formula 20 (KR-20)

ใชกบแบบสอบถามมลกษณะของคาตอบแบบ ใช-ไมใช, multiple

choice เมอตอบถกได 1 ผดได 0

Kuder-Richardson formula 20 (KR-20)

ใชกบแบบสอบถามมลกษณะของคาตอบแบบ ใช-ไมใช

Multiple Choice เมอตอบถกได 1 ผดได 0

คาถาม ใช ไมใช ไมทราบ ไมตอบ

1. โรคเอดสเกดจากเชอไวรส

2. โรคเอดสตดตอโดยการมเพศ

สมพนธ

…

10. ปจจบนไมมวธการรกษาโรคเอดส

ใมหาย

21

120

tσ

pq

k

kKR-

Kuder-Richardson formula 20 (KR-20)

k = จานวนขอคาถาม

= ความแปรปรวนของแบบทดสอบหรอแบบสอบถามทงฉบบ

คานวณจาก

p = สดสวนของขอทตอบถกในแตละขอคาถาม, q = 1-p1

1

2

2

n

)x(xs

n

ii

t

2t

061.qp ii

21

120

tσ

pq

k

kKR-

id k1 k2 k3 k4 k5 k6 Total

1 0 1 1 0 1 1 4

2 0 0 0 0 0 0 0

3 1 1 1 1 0 1 5

4 1 1 1 1 1 1 6

5 1 1 1 1 1 1 6

6 1 1 1 1 1 1 6

7 1 1 1 1 1 0 5

8 1 1 1 1 1 1 6

9 1 1 1 0 0 0 3

10 1 1 1 0 0 0 3

pi 0.8 0.9 0.9 0.6 0.6 0.6

qi 0.2 0.1 0.1 0.4 0.4 0.4

piqi 0.16 0.09 0.09 0.24 0.24 0.24 1.06

4410

44

22

.n

xx

;n

)x(xσ

i

it

คานวณ Kuder-Richardson formula 20 (KR-20)

8302443

0611

16

620

443110

443445440444

4410

44

1

11

20

22222

1

2

2

2

..

.KR-

.).(...).().().(

s

.n

xx;

n

)x(xs

σ

pq

k

kKR-

t

i

n

ii

t

t

11

2

2

n

)x(xs

n

ii

tประมาณจาก

STATA output: KR-20

. alpha k1-k6,item

Test scale = mean(unstandardized items)

averageitem-test item-rest inter-item

Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------k1 | 10 + 0.6470 0.4924 .0966667 0.8239k2 | 10 + 0.7908 0.7167 .0933333 0.7925k3 | 10 + 0.7908 0.7167 .0933333 0.7925k4 | 10 + 0.8364 0.7222 .0744444 0.7755k5 | 10 + 0.7264 0.5581 .0855556 0.8157k6 | 10 + 0.7264 0.5581 .0855556 0.8157-------------+-----------------------------------------------------------------Test scale | .0881481 0.8302-------------------------------------------------------------------------------

11

Kuder-Richardson formula 20 (KR-20) ใชกบแบบสอบถามมลกษณะของคาตอบแบบ ใช-ไมใช/

Multiple Choice เมอตอบถกได 1 ผดได 0

4.คณเคยดมสราเปนสงแรกในตอนเชาเลยหรอไม เพอทจะได

กาจดอาการเมาคางของคณ (Eye opener)

3. คณเคยรสกไมดหรอรสกผดเกยวกบการดมสราของคณหรอไม

(Guilty)

2. เคยมคนสรางความราคาญใหกบคณโดยการกลาวตกเตอน

หรอตาหนคณเกยวกบการดมสราของคณหรอไม (Annoyed)

1.คณเคยรสกวาคณควรจะลดปรมาณการดมของคณลงหรอไม (Cut Down)

ไมใชใชขอคาถาม

Ewing JA; Detecting alcoholism. The CAGE questionnaire. JAMA. 1984 Oct 12;252(14):1905-7.

011110

01119

11118

11117

11116

11115

11114

11113

00002

01101

i4i3i2i1id

. alpha i1-i4, itemTest scale = mean(unstandardized items)

averageitem-test item-rest interitem

Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------i1 | 10 + 0.8807 0.7638 .0777778 0.7500i2 | 10 + 0.8540 0.7629 .0962963 0.7723i3 | 10 + 0.8540 0.7629 .0962963 0.7723i4 | 10 + 0.7845 0.5345 .0925926 0.8929-------------+-----------------------------------------------------------------Test scale | .0907407 0.8376-------------------------------------------------------------------------------

21

120

tσ

pq

k

kKR-

Kuder-Richardson formula 20 (KR-20)

k = จานวนขอคาถาม= ความแปรปรวนของแบบทดสอบทงฉบบ

คานวณจาก

p = สดสวนของขอทตอบถกในแตละขอq = 1-p

1

22

n

)x(xs it

2t

สมประสทธเอลฟา (Coefficient Alpha)- Modify Kuder-Richardson formula 20 (KR-20)

10. ทานคดวาการเปนโรค

เอดสเปนสงทนากลว

...

1. ทานคดวาโรคเอดสเปน

โรคทอนตรายรายแรงตอชวต

ไมเหนดวยอยางยง

(1)

ไมเหนดวย

(2)

ไมแนใจ

(3)

เหนดวย

(4)

เหนดวย

อยางยง (5)คาถาม

สมประสทธแอลฟา (Coefficient alpha) แบบทดสอบหรอแบบสอบถามทมการใหคาคะแนนไมเทากน

เชนมาตราประมาณคา (rating scale), มาตราของ Likert ฯลฯ

ขอคาถามปลายเปดเชน Modified Essay Question (MEQ)

id p1 p2 p3 p4 p5

1 1 1 1 1 1

2 2 2 3 2 1

3 3 2 2 3 1

4 4 3 3 4 4

5 1 2 2 1 4

6 2 1 3 2 2

7 3 2 2 3 3

8 4 3 3 4 2

9 1 2 2 1 4

10 2 2 1 2 2

. alpha p1-p5, itemTest scale = mean(unstandardized items)

averageitem-test item-rest inter-item

Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------p1 | 10 + 0.8707 0.7486 .2851852 0.6139p2 | 10 + 0.8615 0.8013 .4018519 0.6606p3 | 10 + 0.6745 0.5287 .4574074 0.7159p4 | 10 + 0.8707 0.7486 .2851852 0.6139p5 | 10 + 0.4349 0.1003 .6092593 0.8809-------------+-----------------------------------------------------------------Test scale | .4077778 0.7545-------------------------------------------------------------------------------

2

2

11 t

i

S

S

k

kα

สมประสทธแอลฟา

k = จานวนขอคาถาม

= ความแปรปรวนทงฉบบ

= ความแปรปรวนรายขอ

2

tS

2

iS

id p1 p2 p3 p4 p5 total

1 1 1 1 1 1 5

2 2 2 3 2 1 10

3 3 2 2 3 1 11

4 4 3 3 4 4 18

5 1 2 2 1 4 10

6 2 1 3 2 2 10

7 3 2 2 3 3 13

8 4 3 3 4 2 16

9 1 2 2 1 4 10

10 2 2 1 2 2 9

Mean 2.3 2 2.2 2.3 2.4 11.2

Variance 1.34 0.44 0.62 1.34 1.60 13.51

2is

x

2

2

11 t

i

S

S

k

kα

12

2

n

)x(xt

S

51.13110

2.119(...2.11102.115

12

2222

))()(

n

)x(xt

S

36.560.134.162.044.034.11

22

n

)x(xs ii

12

60.1110

)12(...)12()11(

1

34.1110

)3.22(...)3.22()3.21(

1

62.0110

)2.21(...)2.23()2.21(

1

44.0110

)22(...)22()21(

1

34.1110

)3.22(...)3.22()3.21(

1

22222

5

22222

4

22222

3

22222

2

222221

n

)x(xs

n

)x(xs

n

)x(xs

n

)x(xs

n

)x(xs

ip

ip

ip

ip

ip

36.560.134.162.044.034.11

22

n

)x(xs ii

คานวณความแปรปรวน รายขอคาถาม 2is คานวณความเทยง

การแปลผล

754551.13

36.51

15

5

11 2

2

.

S

S

k

kα

t

i

< 0.60 ความเทยงตา, unacceptably

0.60-0.79 ความเทยงปานกลาง

0.80+ ความเทยงสง

Murphy & Davidshofer. (2001)

ทางเลอกอนสาหรบการคานวณสมประสทธเอลฟา-ใชคาเฉลยของสหสมพนธระหวางขอคาถาม หรอ-เมตรกซสหสมพนธ ในการคานวณ (Lord & Novick,1968)Nunally, 1976; Carmines & Zeller, 1979)

-โดยคะแนนขอคาถามเปนคามาตรฐาน โดยมคาเฉลยเทากบ 0ความแปรปรวนเทากบ 1 ดงน

)]1(1[

nρ

ρn = คาเฉลยของสหสมพนธ

ระหวางขอคาถาม . alpha p1-p5Test scale = mean(unstandardized items)Average interitem covariance: .4077778Number of items in the scale: 5Scale reliability coefficient: 0.7545

. alpha p1-p5, stdTest scale = mean(standardized items)Average interitem correlation: 0.4428Number of items in the scale: 5Scale reliability coefficient: 0.7989

แบบประเมนความงวงนอน(Epworth Sleepiness Scale (The 1997 Version)

0=ไมเคยงวงหรอเคลมหลบ (would never doze) 1=มโอกาสงวงเลกนอย (slight chance of dozing)2=มโอกาสงวงปานกลาง (moderate chance of dozing) 3=มโอกาสงวงเลกสง (high chance of dozing)

_____________8. นงในรถยนตขณะหยด 2-3 นาท จากการจราจรตดขดหรอตดไฟแดงIn a car, while for stopped for a few minutes in traffic

_____________7. นงคนเดยวเงยบๆ หลงอาหารกลางวน โดยไมไดดมสราSitting quietly after a launch without alcohol

_____________6. นงและพดคยอยกบบางคน (Sitting and taking to someone)

_____________5. นอนพกผอนในชวงบาย (Lying down to rest in the afternoon,When circumstances permit)

_____________4. เปนผโดยสารในรถยนตทขบไปเรอยๆ โดยไมหยด ประมาณ 1 ชวโมง(as a passenger in a car for an hour without a break)

_____________3. นงเฉยๆ ไมเคลอนไหวในทสาธารณะ (เชนในโรงภาพยนตรหรอหองประชม)(sitting inactive in a public place (e.g. a theatre or meeting)

_____________2. นงดทว (Watching TV)

_____________1. นงและอานหนงสอ (sitting and reading)

โอกาสทจะงวงนอน(Chance of Dozing) 0-3

สถานการณ (Situation)

เอกสารอางองJohns, M.M. & Hocking, B (1997). Daytime Sleepiness and Sleep Habits of Australian Workers. Sleep, 20(10): 844-849.

2

2

11 t

i

S

S

k

kα

สมประสทธแอลฟา (Coefficient alpha)

k = จานวนขอคาถามของแบบทดสอบ

= ความแปรปรวนของขอคาถามทงฉบบ

= ความแปรปรวนของขอคาถามรายขอ

2

tS2

iS

1111101110

010401109

434143348

313331137

101113016

010401105

334443344

313031133

111013112

001000001

i8i7i6i5i4i3i2i1id

สมประสทธเเอลฟา: ขอคาถามม หนวยวด/ผ วด

แตกตาง -ใชคาเฉลยของสหสมพนธระหวางขอคาถาม

ในการคานวณ (Lord & Novick,1968;

Nunally, 1976; Carmines & Zeller, 1979)

-คะแนนขอคาถามเปนคามาตรฐาน มคาเฉลยเทากบ 0

ความแปรปรวนเทากบ 1

)]1(1[

nρ

ρn = คาเฉลยของสหสมพนธระหวางขอคาถาม

. alpha i1-i8, itemTest scale = mean(unstandardized items)

averageitem-test item-rest interitem

Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------i1 | 10 + 0.9511 0.9277 .9566138 0.8629i2 | 10 + 0.8911 0.8631 1.149735 0.8797i3 | 10 + 0.5758 0.4687 1.256614 0.9055i4 | 10 + 0.9511 0.9277 .9566138 0.8629i5 | 10 + 0.2578 0.0633 1.443915 0.9510i6 | 10 + 0.9113 0.8731 1.004762 0.8695i7 | 10 + 0.8911 0.8631 1.149735 0.8797i8 | 10 + 0.9062 0.8675 1.018519 0.8705-------------+-----------------------------------------------------------------Test scale | 1.117063 0.9007-------------------------------------------------------------------------------

. alpha i1-i8, item stdTest scale = mean(standardized items)

averageitem-test item-rest interitem

Item | Obs Sign correlation correlation correlation alpha-------------+-----------------------------------------------------------------i1 | 10 + 0.9422 0.9196 0.5311 0.8880i2 | 10 + 0.9098 0.8756 0.5408 0.8918i3 | 10 + 0.5960 0.4791 0.6357 0.9243i4 | 10 + 0.9422 0.9196 0.5311 0.8880i5 | 10 + 0.2476 0.0925 0.7409 0.9524i6 | 10 + 0.9017 0.8646 0.5433 0.8928i7 | 10 + 0.9098 0.8756 0.5408 0.8918i8 | 10 + 0.8960 0.8569 0.5450 0.8934-------------+-----------------------------------------------------------------Test scale | 0.5761 0.9158-------------------------------------------------------------------------------

13

โมเดล Domain-Sampling- สรางขอคาถามครบ ไดคะแนนจรง (true Score)

- ขอคาถามแตละขอทสรางวดในเรองเดยวกน แสดงวา

“ขอคาถามแตละขอมสวนรวม (core) ในการวด (สมพนธ)”

item1

...

item2

item3Item Nitem5

item4

item1item1

item5 Item4

DOMAIN

แบบสอบถาม...

Item=ขอคาถาม

ITEM ANALYSISทดสอบความสมพนธของขอคาถาม

- Inter item correlation หรอ- Item Total Correlation หรอ- พจารณาคาความเทยงของแบบสอบถามเมอตดขอคาถามแตละขอทงไป

ผลวเคราะห - Inter item correlation (0.20 ขนไป คาลบ, < 0.20พจารณาปรบปรง หรอตดขอคาถามทง)

- คาความเทยงของแบบสอบถามเมอตดขอคาถามแตละขอทงไปเทยบกบความเทยงของทกขอ(เลอก Alpha Coefficient ขอมล Rating Scale,เลอก KR-20 ขอมล 0,1)

-สรางขอคาถาม 5 ขอ (I) ถาขอคาถามม

“ความสอดคลองภายใน” พจารณาจากขอคาถาม

แตละขอ สมพนธกบขอคาถามอนๆ รวมกน เชน

-I1 กบ I2+I3+I4+I5 -I2 กบ I1+I3+I4+I5

-I3 กบ I1+I2+I4+I5 -I4 กบ I1+I2+I3+I5

-I5 กบ I1+I2+I3+I4 (Item Total Correlation)

-ถาสมพนธมากและไมตดลบ (+0.20) แสดงวา

ขอคาถามนนเหมาะสม (ถา <0.20 หรอตดลบตอง

ปรบปรง หรอตดทง)

. alpha p1 p2 p3 p4 p5, item

Test scale = mean(unstandardized items)

averageitem-test item-rest inter-item

Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------p1 | 10 + 0.9421 0.8735 .2203704 0.6398p2 | 10 + 0.7826 0.6860 .3944444 0.7425p3 | 10 + 0.7027 0.5522 .4055556 0.7674p4 | 10 + 0.9421 0.8735 .2203704 0.6398p5 | 10 - 0.2174 0.0198 .6092593 0.8809-------------+-----------------------------------------------------------------Test scale | .37 0.7967-------------------------------------------------------------------------------

คอลมน 3 เครองหมายของความสมพนธตวแปรนนกบผลรวมของทกตวแปร

คอลมน 4 คาสหสมพนธระหวางตวแปรนนกบผลรวมของทกตวแปร

0.9421 คอสหสมพนธระหวาง p1 กบ p1+p2+p3+p4+p5

คอลมน 5 คาสหสมพนธระหวางตวแปรนนกบผลรวมของตวแปรทเหลอ

0.8735 คอสหสมพนธระหวาง p1 กบ p2+p3+p4+p5

(Item Total Correlation)

. alpha p1 p2 p3 p4 p5, itemTest scale = mean(unstandardized items)

averageitem-test item-rest inter-item

Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------p1 | 10 + 0.9421 0.8735 .2203704 0.6398p2 | 10 + 0.7826 0.6860 .3944444 0.7425p3 | 10 + 0.7027 0.5522 .4055556 0.7674p4 | 10 + 0.9421 0.8735 .2203704 0.6398p5 | 10 - 0.2174 0.0198 .6092593 0.8809-------------+-----------------------------------------------------------------Test scale | .37 0.7967-------------------------------------------------------------------------------

คอลมน 7 สมประสทธเอลฟา กรณทตดขอคาถามขอนนออกไป เชน

.6398 หมายถงสมประสทธเอลฟาขอ p2 p3 p4 p5 ตดขอ p1

สวนคา 0.7967 คอ สมประสทธเอลฟา ของทกขอ

การแปลความหมาย ขอคาถาม p5 มคา item-total correlation (item-rest)

<0.20 และตดลบ และสมประสทธเอลฟา กรณทตดขอคาถาม p5

ออกไปเทากบ 0.8809 สงกวาสมประสทธของทกขอ (.7967)

ตองพจารณาปรบปรง/ตดทง

. alpha p1 p2 p3 p4 p5, item std detail

Test scale = mean(standardized items)average

item-test item-rest inter-itemItem | Obs Sign correlation correlation correlation alpha-------------+-----------------------------------------------------------------p1 | 10 + 0.8966 0.8136 0.2978 0.6291p2 | 10 + 0.7916 0.6444 0.3610 0.6932p3 | 10 + 0.7243 0.5445 0.4015 0.7285p4 | 10 + 0.8966 0.8136 0.2978 0.6291p5 | 10 - 0.3036 0.0281 0.6548 0.8836-------------+-----------------------------------------------------------------Test scale | 0.4026 0.7711-------------------------------------------------------------------------------Interitem correlations (reverse applied) (obs=10 in all pairs)

p1 p2 p3 p4 p5p1 1.0000p2 0.7187 1.0000p3 0.5345 0.4226 1.0000p4 1.0000 0.7187 0.5345 1.0000p5 -0.0142 0.0000 0.1252 -0.0142 1.0000

กรณวเคราะหขอคาถามใหเปนขอคาถามมาตรฐาน

คาเฉลย=0 สวนเบยงเบนมาตรฐาน=1 (ระบ std)

Inter item correlation

n

ii

n

ii

n

iii

)Y(Y)X(X(

)Y)(YX(Xr

1

22

1

1

14

ความตรง (Validity)

1. ความตรงตามเนอหา (Content Validity)

2. ความตรงตามโครงสราง (Construct Validity)

3. ความตรงเชงทานาย (Predictive Validity)

4. ความตรงตามสภาพ (Concurrent Validity)

ความตรง ระดบ (level) การวดของขอมล มความเปนจรง (true)

กบปรากฏการณ (phenomena)

ประกอบดวย

ความตรงตามเกณฑ (Criterion validity)

ความตรงตามเนอหาเปนการบอกใหทราบวา ขอคาถามทงหมดทสรางขน มเนอหา

ตางๆ ครบถวนตามวตถประสงคและถกตองครบถวนตามทฤษฎ

เชน การศกษา ความรเรองโรคเอดส เนอหา (Content Domain) ควรประกอบดวย

ความหมาย สาเหตการตดตอ

วธการตดตอ อาการ

การรกษา วธปองกน

ผลกระทบตอบคคล ครบครว ชมชน

ความตรงของแบบทดสอบ

ดชนความตรงตามเนอหา (Content Validity Index: CVI)

อตราสวนความตรงตามเนอหา (Content Validity Ratio: CVR)

ดชนความสอดคลอง (Index of Item-Objective Congruence)

Validity index (Aiken (1980, 1985: Rating Scale)

2/

2/

N

NNCVR e

judge

judge

judge N

DN

N

ACVII

nN

XXXN

I

n

j

N

m

n

j

n

jijkmjkijk

ik )1(2

)1(1 1 1 1

k

lXor

cN

inV i

)1(

คาดชนความตรงตามเนอหา (CVI) ของเครองมอม 2 ประเภท1. คาดชนความตรงเชงเนอหาของขอคาถามรายขอ (item-level CVI

หรอ I-CVI) 2. คาดชนความตรงเชงเนอหาของเครองมอทงชด (scale-level CVI หรอ

S-CVI) การคานวณคา CVI แตละชนด มดงน- คา I-CVI ผทรงคณวฒประเมนขอคาถาม - หาสดสวนของผทรงคณวฒทมความเหนตรงกนของขอคาถามแตละขอโดยกาหนดระดบความตรงตามเนอหาเปน 4 ระดบ

1 = ไมเกยวของ (not relevant)/ 2 = เกยวของนอย (somewhat relevant) 3 = เกยวของ (quite relevant) และ 4 = เกยวของมาก (very relevant)

- ขอคาถามทผทรงคณวฒประเมนวาเกยวของไดแก คาคะแนนระดบ 3 และคาคะแนนระดบ 4

- คานวณ I-CVI ดงน

A = จานวนผทรงคณวฒประเมนวาเกยวของ

D = จานวนผทรงคณวฒประเมนวาไมเกยวของ

N = จานวนผทรงคณวฒทงหมด

ถา คา I-CVI ตากวา 0.80 พจารณาปรบแกหรอตดขอคาถามนนทง

N

DACVII

- คานวณคา S-CVI เทากบขอคาถามทผทรงคณวฒประเมนวา

เกยวของ หารดวยขอคาถามทงหมด

itemofNumber

ACVIS

Item ผทรงคณวฒ (Experts/Judges)

1 2 3 4 5

1

2

3 1

4 1

5 1

Proportion 1 1 .8 (1+.6+1+1+1)/5=0.92

judge

judge

N

DNCVII

92.05

.8111.8

JudgeExpert/ofNumber

judgeExpert/eachofproportionofSum/

AveCVIS

15

05

6.5

25

8.5

15

15

05

การคานวณคา คาดชนความตรงเชงเนอหาของขอคาถามรายขอ (item-level CVI (I-CVI) และ

คาดชนความตรงเชงเนอหาของเครองมอทงชด (scale-level CVI (S-CVI)

15

เกณฑพจารณา - คาดชนความตรงเชงเนอหาของขอคาถามรายขอ (item-levelCVI (I-CVI) ขอคาถามแตละขอ มากกวาหรอเทากบ 0.78 (9 คน)

- คาดชนความตรงเชงเนอหาของเครองมอทงชด (scale-level CVI, (S-CVI/Av) มคาไมตากวา 0.80 (expert 5 คน)Polit, Beck, Owen. (2007). Is the CVI an Acceptable Indicator of

Content Validity Appraisal and Recommendations.

Expert คะแนน 3, 4 I-CVI

3-4 ทกคน 1.00

5 4 หรอ 5 .80, 1.00

6 5 หรอ 6 .83, 1.00

7 6 หรอ 7 .86, 1.00

8 7 หรอ 8 .88, 1.00

9 7 ,8 หรอ 9 .78,.89, 1.00

อตราสวนความตรงตามเนอหา (Content Validity Ratio: CVR)

2/

2/

N

NNCVR e

ขอคาถาม Essential Useful but not essential

Not necessary

1.

2.

…

n.

Ne is the number of panelists indicating "essential" N is the total number of panelists.

Minimum Values of CVR & CVRt (One Tailed Test, p = .05) (Lawshe, 1975; p568)

26

23

20

18

15

12

11

10

n

10

9

9

8

7

7

6

5

n

.2940.5612

.3135.5911

.3330.7210

.3725.789

.4220.758

.4915.997

.5114.996

.5413.995

Min ValueNo of PenalistMin ValueNo of Penalist

n = minimum of Penalist

ดชนความสอดคลองระหวางขอคาถามกบวตถประสงค (Index of Item-Objective Congruence)

(Rovinelli & Hambleton, 1977)

Iik = is the index of item-objective congruence for item kon objective i,

N = is the number of objectives (i=1, 2, …, N),n = is the number of content specialists (j=1, 2, …, n),Xijk = is the rating (-1, 0, +1) of item k as a measure of

objective i by content specialist j.

11 ikI

nN

XXXN

I

n

j

N

m

n

j

n

jijkmjkijk

ik )1(2

)1(1 1 1 1

index cut-off score is 0.75, then all items with an index of item-objective congruence below 0.75 are deemed nonvalid

Rovinelli & Hambleton. (1977). On the Use of Content Specialists in the Assessment of Criterion-Referenced Test Item Validity. Dutch Journal of Educational Research, 2, 49–60.

nN

XXXN

I

n

j

N

m

n

j

n

jijkmjkijk

ik )1(2

)1(1 1 1 1

“Tijdschrift voor Onderwijsresearch”

?????N

RIOC 000+1จ

-4-4-3+4

-1-1-1+1ง

-1-100ค

-1-1-1+1ข

-1-1-1+1ก

4321

objectivejudge

Table 3 Judges’ Ratings of Item-Objective

Congruence for a Hypothetical Item 1

Iik = I11 N = 4

n = 5

30.

30.

17.

77.030

4)7(12

)5)(14(2

))4())4()4()3(4(()4)(14(

14

13

12

11

I

I

I

I

nN

XXXN

I

n

j

N

m

n

j

n

jijkmjkijk

ik )1(2

)1(1 1 1 1

(Rovinelli & Hambleton,1976, 1977)

n

jijkX

1

16

Validity index (Aiken (1980, 1985: Rating Scale)

k

lXVor

cN

inV i

)1(

I = weight equal ci-1, c = highest rating,ni= number of rater of each rating,N = total rater (judge),

= sample mean of the judges’ ratings, l = lowest possible rating, k = range of values rating scale (Max-Min)

X

3/)1)(1(

1)12)(1(

ccN

VcNZ

Critical Value of V

89.0

)15(7

)6)(15()0)(14()0)(13()1)(12()0)(11(

V

)1(

cN

inV i

Example The rating (5 scale) for item of seven judges

are: 2, 5, 5, 5, 5, 5, 5

81.23/)15)(15(7

1)1)89.0(2)(15(7

3/)1)(1(

1)12)(1(

ccN

VcNZ

002.0ValueP

Table: Aiken’s Right-Tail Probabilities (p)Rating=5 rater=7 V = 0.82 p-value = 0.010

0.75 = 0.041

Aiken’s Right-Tail Probabilities (p) for SelectedValues of the Validity Coefficient (V) ความตรงตามโครงสราง

ความตรงตามโครงสรางเปนลกษณะของการสรางโครงสรางขนจาก

ขอคาถามหลายๆ ขอ

- ตามทฤษฎ (Theory) หรอ

- แนวคด (Concept)

แลวรวมเปนโครงสราง (Construct) หรอตวแปร (Variables)

การวเคราะหประกอบดวย

- การวเคราะหองคประกอบ Factor Analysis

- multi-trait-multi-method

ตวอยาง การวเคราะหความตรง เกยวกบการวดการรบร เกยวกบโรคเอดส

ประกอบดวยขอคาถามเพอประกอบเปนโครงสราง 4 โครงสราง ดงน

การรบรถงความรนแรงของโรคเอดส การรบร โอกาสเสยง การรบร

ประโยชนทไดรบ และแรงจงใจ โดยขอคาถามประกอบดวยตวแปร ขอความ

A1 มความจาเปนทจะศกษาความรเรองโรคเอดส

A2 การปองกนโรคเอดสเปนหนาทของทกคน

A3 โรคเอดสเปนโรคทนารงเกยจ

A4 โรคเอดสเปนโรคทเปนแลวตาย

A5 เมอทราบวาเปนเอดสจะบอกทดคนในครอบครวทราบ

A6 การสกทผวหนงมโอกาสตดเชอเอดส

A7 ผปวยเอดสทรกษาสขภาพใหแขงแรงอยเสมอสามารถดารงชวตอยในชมชน

ไดตามปกต

A8 การใหความรเรองโรคเอดสในชมชนสามารถลดปญหาเกยวกบโรคเอดสได

Component 1 2 3 4 A1 -1.001E-02 .107 .766 .201 A2 4.864E-02 -8.618E-02 .850 -5.660E-02 A3 -8.419E-02 .825 -2.781E-02 -9.160E-02 A4 .194 .757 4.751E-02 .190 A5 -4.703E-02 -.114 7.699E-02 .862 A6 .261 .270 6.600E-02 .681 A7 .881 -3.521E-02 7.242E-02 4.719E-02 A8 .872 .128 -3.386E-02 9.503E-02

แรงจงใจ

การรบรประโยชนทไดรบการรบรถงความรนแรง

การรบรโอกาสเสยง

การวเคราะหองคประกอบ Factor Analysis

17

ความตรงตามเกณฑ (Criterion Validity)- ความตรงทพจารณาความสมพนธของการวดเครองมอหนงกบ

เครองมออน หรอเครองมอทเปนมาตรฐานทองคา (Gold Standard)

(the correlation of a scale with some others measure of the

trait or disorder under study , ideally, a “gold standard”)

- ประกอบดวย

* ความตรงเชงทานาย (Predictive Validity) และ

* ความตรงตามสภาพ (Concurrent Validity)

ความตรงเชงทานาย (Predictive Validity)- การวดความตรงของ 2 เครองมอในระยะเวลาทตางกน (criterion will not be available until some time in the future)(แบบวดเจตคตตอวชาชพ --> แบบวดความสขในการทางาน)

- วธการทางสถตทใชในการประเมน * ตวแปร continuous - Regression

Categorical - Logistic Regression* ประเมน ความไว (Sensitivity), ความจาเพาะ(Specificity)

(Predictive Value), Likelihood, ROC Curve

ความตรงตามสภาพ (Concurrent Validity)- การวดความสมพนธของเครองมอทสรางขนใหมกบกบเกณฑ

(correlate the new scale with the criterion measure)

เชน วดความสมพนธเครองมอทสรางขนใหมกบเครองมอ

ทเปนมาตรฐานทองคา (Gold Standard)

(CU-TEP--->TOEFL [gold standard] )

- วธการทางสถตทใชในการประเมน

* ตวแปร continuous - Concordance Correlation Coefficient

Categorical - Kappa Statistics, Phi Coefficient

* ประเมนความสอดคลอง (Agreement)