1
ตวแปรและการวดตวแปร
เครองมอวจย
การตรวจสอบคณภาพเครองมอวจย
ผชวยศาสตราจารยนคม ถนอมเสยง
สาขาวชาวทยาการระบาดและวชาชวสถต
คณะสาธารณสขศาสตร มหาวทยาลยขอนแกน
Web: http://home.kku.ac.th/nikom; Email: [email protected]
การรวบรวมขอมล
รายงานผล
กระบวนการวจยResearch Process
ปญหาการวจย
ทบทวนเอกสาร/วจย
กาหนดตวแปรทเกยวของ
วตถประสงค/สมมตฐาน
รปแบบการวจย
ประชากร/ตวอยางการวเคราะหขอมล
การแปรผลขอมล
นยามของการวด (Definitions of Measurement)หมายถงการกาหนดคาใหกบ บคคล (Persons) สตว (animals)
วตถ (objects) และเหตการณ (events) เพอแสดงถงปรมาณ
หรอคณภาพของลกษณะทสนใจ ตามโดยมกฎเกณฑ (rule)
หรอวธการทชดเจน (Stevens, 1951; Polager & Thomas, 2013)
ลกษณะทสนใจ ทางสถตเรยกวา “ตวแปร (Variable)”
นยามตวแปร (Definitions of Variables)ตวแปร หมายถง คณลกษณะหรอคณสมบตของตวอยางทสนใจศกษา
Type of Variables
categorical data
- nominal scale
- ordinal scale -discrete -count
Dependent, Independent variable
- response variable , dependent variable ,or Y variable
- explanatory variable, independent variable or X variable
nominal
ordinalequalitativ
data discrete
data continuousvequantitati
Categorical data
สเกลการวดของตวแปร
1. นามสเกล (nominal Scale) เพศ กลมเลอด
2. อนดบสเกล (Ordinal Scale) ทศนคต ความพงพอใจ
ระดบความเจบปวด
3. ชวงสเกล (Interval Scale) IQ อณหภม
4. อตราสวนสเกล (Ratio Scale) ชพจร ความดนโลหต
การวดเชงปรนยหรอการวดเชงวตถวสย (Objective measurements)-การวดเชงปรมาณหรอคณภาพทางกายภาพของบคคล หรอวตถ โดยใช เครองมอเฉพาะ เชนวดสมรรถภาพปอดใช Spirometry ฯลฯ• are measured by an observer (blinded or unblinded)• are often more precise than subjective measurements• can include archival data• ideal for measuring short-term conditions at a single point in time,
such as X-rays, blood pressure, or lung function• preferable as the main study outcomes because the potential for
bias is reduced(Peat, 2001. Health Science Research A handbook of quantitative methods.)
ประเภทของการวด (Type of Measurement)การวดเชงอตนยหรอการวดเชงอตวสย (Subjective measurements)
การวดเชงปรนยหรอการวดเชงวตถวสย (Objective measurements)
2
ประเภทของการวด (Type of Measurement)การวดเชงอตนยหรอการวดเชงอตวสย (Subjective measurements)-การวดปรมาณหรอคณภาพภายในตวของบคคลหรอวตถ โดยการใหลาดบ (Rating)
การตดสนใจ (judgment)
• can be a subject report or a researcher observation
• are prone to inconsistency and observer bias
• time is not a problem so that retrospective information can be
collected in addition to current information
• ask questions of importance to the sample
(Peat, 2001. Health Science Research A handbook of quantitative methods.)
ความคาดเคลอนในการวด (Measurement Error)ความคาดเคลอน (Measurement Error) หรอความผดพลาด
ความผดพลาดอยางมระบบ (Systematic Error)
สาเหตจากความลาเอยงหรออคต (bias) แกไขโดยแบบแผนการวจย
ทเหมาะสม
ความผดพลาดอยางสม (Random Error)
เกดโดยบงเอญ (chance) แกไขโดยใชวธการทางสถต
เลอกไมสามารถแกไขดวยแบบแผนการวจย
(ตวอยางเพยงพอ, การเลอกเครองมอทมความแปรปรวนนอย)
Diastolic Blood Pressure (mmHg)
อคต (Bias)
80 90
ความดนโลหตจรง (True)
(จากการวดในหลอดเลอด)
ความดนโลหตจากการวด
(Sphygmomanometer)
ความผดพลาดอยางมระบบ(Systematic Error)
ความผดพลาดอยางสม(Random Error)
ความบงเอญ (Chance)
.....................
จานว
นค
าสงเ
กต
Methods in Minimizing Measurement Error
Careful planning, training, Clear operational definition, Inspection of equipment.
การวดดานสขภาพ (Health Measurement)ความหมายสขภาพ (WHO, 1946)
“ภาวะทสมบรณ ทงกาย จตและสงคม ไมเพยงแตการปราศจากโรค
หรอความเจบปวยเทานน”(Health is a state of “complete physical, mental and social
well-being and not merely the absence of disease or infirmity”)
ความหมายสขภาพ (WHO, 1998)
“ภาวะทสมบรณ ทงกาย จต จตวญญาณและสงคม ไมเพยงแต
การปราศจากโรคหรอความเจบปวยเทานน”
(Health as a state of “physical, mental, spiritual and social
well-being and not merely the absence of disease or infirmity”
แนวคดการวดดานสขภาพวดสขภาพเชงบวก (Positive health measurement)
- วดผลลพธสขภาพดานความผาสก (Well being),
คณภาพชวต (quality of life)
วดสขภาพเชงลบ (Negative health measurement)
- วดผลลพธสขภาพดานการปวย (morbidity), การเสยชวต (mortality)
ผลลพธของการวจย (Research outcome)
- ผลลพธหลกของการวจย (Primary outcome)
- ผลลพธรอง (secondary outcome)
ผลลพธของการวจย (Research outcome)
ผลลพธหลกของการวจย (Primary outcome)
- ผลลพธทมความสาคญทสดในการวจย
ตามคาถาม/วตถประสงคหลกของการวจย
- ใชในการคานวณขนาดตวอยาง
- ใชเปนแนวทางในการเขยนแผนการวเคราะหขอมล
- ปรากฏในรายงานผลการศกษา
ผลลพธรอง (secondary outcome)
3
ผลลพธดานสขภาพ (Health Outcome)A health outcome is a change in the health of an individual,group of people or population which is attributable to anintervention or series of interventions.ตวอยาง- การเกดอาการไมพงประสงค (side effect) - ระยะเวลาการปลอดเหตการณ (survival time)- การเกดโรคซา (readmission)- ความไมพงพอใจ (Dissatisfaction)- คณภาพชวต (quality of life)- ความพการ (Disability)- ความไมสบาย (discomfort) - ปรมาณ...- เสยชวต (death)ฯลฯ
Criteria for selecting health measure
in health research สอดคลองกบคาถามวจย (Relevance)
นยามเชงปฏบตการได (Capability of operational definition)
เปนทยอมรบในสาขาวชาการ (Credibility)
มความแมนยา (Accuracy) มความตรง (validity)
ความเทยง (reliability) และไวตอการจาแนกความแตกตาง (Responsiveness, sensitivity)
สามารถนาไปใชในทางปฏบต (ไมยงยากและคาใชจายเหมาะสม)
Availability and cost
Operational DefinitionOperationalization
the process of converting theoretical ideas
to a tightly defined statement of
how variables are to be measured
Operational definition
of a variable is a statement of how the researcher
in a particular study choose to measure the variable
in question
นยามเชงทฤษฎ (Theoretical Definition)
ความหมายของตวแปรตามแนวคด (concept)
หรอทฤษฎ (Theory)
นยามเชงปฏบตการ (Operational definition)
ความหมายของตวแปรทชดเจน มความเปนรปธรรม
สงเกตหรอวดได สอดคลองกบความหมายตามแนวคด
หรอทฤษฎ
ตวอยาง
นยามเชงทฤษฎ (Theoretical Definition)
สวสดการ หมายถง “สงเอออานายใหคนมชวตทด
มสภาพการทางานทด และสะดวกสบาย”
(พจนานกรม ฉบบราชบณฑตยสถาน พ.ศ. 2542)
นนามเชงปฏบตการ (Operational definition)
สวสดการ หมายถง “รถรบสง บานพก คารกษาพยาบาล
คาเลาเรยนบตรทรฐมอบให ททาใหบคลากร
มความสะดวกสบายในการทางาน)
Criteria for selecting outcome measure (Fitzpatrick et al. 1998)1. ความเหมาะสม (Appropriateness) เนอหาของเครองมอเหมาะสม
กบคาถามทตองการศกษา 2. การยอมรบ (Acceptability) เครองมอเปนทยอมรบในทางวชาการและ
กลมตวอยาง 3. ความเปนไปได (Feasibility) เครองมองายตอการจดการและการดาเนนการ4. ความตรง (Validity) เครองมอวดไดตามความเปนจรง5. ความเชอถอได (Reliability) เครองมอใหผลเหมอนกน
หรอสมาเสมอและมความคงเสนคงวาภายใน 6. การตอบสนอง (Responsiveness) เครองมอสามารถวดการเปลยนแปลงทเกดขน
กบตวอยาง ไดตลอดเวลา 7. ความเทยง (Precision.) คะแนนหรอคาทวดจากเครองมอ เมอวดแลวใหคาคงเดม
หรอมความแปรปรวนนอย8. แปลผลได (Interpretability) คาคะแนนทไดจากเครองมอวด สามารถอธบายได
หรอแปลความหมายไดตรงกน
4
How do I choose a outcome for my study?
1. Appropriateness
8. Interpretability 2. Acceptability
7. Precision 3. Feasability
4. Validity6. Responsiveness
5. Reliability
How do I choose
a outcome measure
for my study?
เครองมอทใชในการเกบรวบรวมขอมล1.เครองมอทใชเกบขอมลเชงปรมาณ เชน1.1. เครองมอวดทางกายภาพ (Physical instrument) เชนเครองชงนาหนก
เครองวดสวนสง เครองวดความดนโลหต ฯลฯ1.2. เครองมอทางชวภาพ (Biological instrument) เชน Spirometry, 1.3. เครองมอวดทางเคม (Chemical instrument) เชน เครองมอวดระดบ
นาตาลในเลอดหรอปสสาวะ, เครองมอวดระดบแอลกอฮอล3. แบบสอบถาม (Questionnaire) 4. แบบทดสอบ (test)5. แบบสงเกต (observation tools) การสงเกตแบบมสวนรวม และ
การสงเกตแบบไมมสวนรวม6. แบบสมภาษณ (Interviews)
เครองมอวจย (research instruments, tools)หมายถง เครองมอทใชวดขอมลในหวขอทสนใจจากตวอยางวจย(Research Instruments are measurement tools designed to obtain data on a topic of interest from research subjects)
วธการเกบรวบรวมขอมลและเครองมอทใช
Checklist, แบบรวบรวมขอมลขอมลทรวบรวมไวแลว
แบบสอบถาม, แบบทดสอบหรอแบบวดการสอบถาม
แบบสมภาษณ, checklist,
digital recorder, tape recorder
การสมภาษณ
แบบบนทกการสงเกต checklist, rating scaleการสงเกต
เครองมอวดทางกายภาพ เครองชงนาหนก,
เครองมอทางชวภาพ Spirometry,
เครองมอวดทางเคม (Chemical instrument) เชน
เครองมอวดระดบนาตาลในเลอดหรอปสสาวะ
การวดขอมลเชงปรมาณ
เครองมอทใชรวบรวมขอมลวธการเกบรวบรวมขอมล
แบบสอบถาม (Questionnaire)
ชดเอกสารทสรางขนเพอใชเกบรวบรวมขอมล โดยมสวนของขอคาถาม
และสวนคาตอบเพอใหตวอยางตอบขอคาถามนนๆ
สวนประกอบของแบบสอบถาม1. ปกหนา เชนชอโครงการวจย ผวจย ชอทอยของหนวยงานททาวจย
สญลกษณ ขอความขอความรวมมอ
2. สวนคาถาม ประกอบดวย
2.1 คาอธบายวธการตอบ
2.2 คาถามขอมลพนฐาน เชน เพศ อาย การศกษา อาชพ รายได
2.3 คาถามทเปนประเดนในการตอบคาถามวจยหรอวตถประสงค
2.4 สวนคาถามทใชอธบายเพม (ถาม)
3. คาขอบคณ
ประเภทของแบบสอบถามแบบสอบถามปลายปด (Closed-ended Questionnaire)
ก. แบบสารวจรายการ (checklist)
เพศของทาน 1. ชาย 2. หญงสถานภาพการสมรสปจจบนของทาน
1. โสด 2. สมรสและอยรวม 3. สมรสแยกกนอย
4. หมาย 5. แยก
เมอพดถงประกนสงคมทานนกถงอะไร (เลอกเรยงลาดบตามความสาคญกอนไปหลง โดยเรยงหมายเลข 1, 2, 3, 4, 5ลงในชอง ) เงนทดแทนจากการขาดรายได หลกประกนในการดารงชวต การคมครองความเสยงของชวต การรกษาพยาบาล สทธประโยชน
ข. แบบจดอนดบ
-ใหผตอบพจารณาเรยงลาดบกอนหลง เชนจากมากไปนอยหรอนอยไปมาก
เรยงลาดบสาคญกอนหลง
5
ไมพงพอใจ (not at all satisfied) ไมเหนดวยอยางยง (strongly disagree)
พงพอใจนอย (little satisfied) ไมเหนดวย (disagree)
พงพอใจปานกลาง (moderate satisfied) เหนดวยปานกลาง (moderate agree)
พงพอใจมาก (quit satisfied) เหนดวย (agree)
พงพอใจมากทสด (very satisfied) เหนดวยอยางยง (strong agree)
วดระดบความพงพอใจ วดระดบความคดเหน
มาตราประมาณคา
ค. มาตราการประมาณคา (rating scale)
-ใหผตอบพจารณาขอคาถาม และเลอกตอบตาม ระดบความคดเหน ระดบ
ความพงพอใจ ระดบการปฏบต หรอระกบคณภาพ ฯลฯ
คณภาพดแยมาก/ไมด (very bad/not good) ไมเคย (never)
คณภาพไมคอยด (not so good) นอยครง (rarely)
คณภาพดปานกลาง (neither good or bad) บางครง (sometime)
คณภาพด (good) บอยครง (alway)
คณภาพดเยยม (excellent) ทกครง เปนประจา (usually
วดระดบคณภาพ วดระดบความถการปฏบต
มาตราประมาณคา
ค. มาตรการประมาณคา (rating scale) –ตอ-
วดระดบความคดเหน เหนดวยอยางยง (strong agree) เหนดวย (agree) ไมแนใจ (uncertain) ไมเหนดวย (disagree) ไมเหนดวยอยางยง (strongly disagree)
ง. มาตราวดของลเครท (Likert scale)
-ใหผตอบพจารณาขอคาถาม และเลอกตอบตาม ระดบความคดเหน ระดบ
ความพงพอใจ ระดบการปฏบต หรอระกบคณภาพ ฯลฯ
จ. มาตราวดจาแนกความหมาย (Semantic differential scale)
พฒนาโดย Osgood, Suci & Tannenbaum (1957) ใชวดเจคตหรอ
ความเชอทมตอสงใดๆ
ประกอบดวยคาคณศพท 2 คา ทมความหมายตรงกนขาม(opposite adjectives)
ชองระหวางคาคณศพท สวนมากแบงเปน 7-9 ชวง ใหคะแนน 1-7, 1-9
7654321
Osgood's semantic differential measures these three factors. It contains sets of
adjective pairs such as warm-cold, bright-dark, beautiful-ugly, sweet-bitter,
fair-unfair, brave-cowardly, meaningful-meaningless.
นาเบอ นาสนใจ
ฉ. มาตราวด Visual Analog scaleA Visual Analogue Scale (VAS) is a measurement instrument that tries to measure a characteristic or attitude that is believed to range across a continuum of values and cannot easily be directly measured.It is often used in research to measure the intensity or frequency ofvarious symptoms. ตวอยาง Numerical pain scale
0 1 2 3 4 5 6 7 8 9 10
ไมปวด ปวดมากทสด
ช. มาตราวดแบบรปภาพ (pictorial scale)
มความสขมากไมมความสขเลย
faced pain scale picture
แบบสงเกต - เครองมอวจยทใชรวบรวมพฤตกรรมของตวอยางในการวจย โดยการสงเกต
ใชวธ การสงเกตแบบมสวนรวม (participant observation) หรอการสงเกตไมมสวนรวม (participant observation)แบบสงเกตทใชเชน แบบสงเกตสารวจรายการ (checklist), แบบสงเกตแบบมาตรการประมาณคา (rating scale)
แบบสมภาษณ (interviews)- แบบสมภาษณแบบไมมโครงสราง (un-structure interview)- แบบสมภาษณแบบกงโครงสราง (semi-structure interview)- แบบสมภาษณแบบมโครงสราง (structure interview)
6
แบบทดสอบ (Test)ชดของขอคาถามทสรางขนเพอใชวดความร สตปญญา ความถนด
และบคลกภาพของตวอยาง
ชนดของแบบทดสอบ
1. แบบทดสอบวดสมฤทธ (achievement test) แบบทดสอบ
ทสรางขนเอง, แบบทดสอบมาตรฐาน (standardized test)
2. แบบทดสอบวดความถนด ( aptitude)
3. แบบทดสอบวดบคลกภาพ เชนแบบทดสอบวดทศนคต แบบทดสอบ
วดความสนใจ แบบทดสอบวดการปรบตว
แบบทดสอบแบบปรนย (objective test)
1. แบบตอบสนๆ
2. แบบเตมคา
3. แบบจบค
4. แบบถก-ผด
5. แบบเลอกตอบ
แบบทดสอบอตนย (eassy test)
แบบทดสอบทเปนคาถามทใหตวอยางไดแสดงความสามารถของตนเอง
ในการตอบตามความรและความคดเหนของตนเอง เชน
Modified Essay Question (MEQ)
ประเภทของแบบสอบถามแบบสอบถามปลายเปด (Open-ended Questionnaire)
ไมไดกาหนดคาตอบใหเลอกตอบ
ใหผตอบไดตอบอยางอสระ
ไดคาตอบหลากหลายลกษณะ เพอนามาวเคราะหเนอหา หรอ
คนหาขอสรป
ตวอยาง
ผลกระทบของการเปนโรคเอดส มในดานใดบาง
................................................................................…....................
...............................................................................….....................
ความสามารถของการวด (Performance of Measurement)
ความตรง (Validity) ระดบ (level) การวดของขอมล มความเปนจรง
(true) กบปรากฏการณ (phenomena)
ความเทยง (Reliability) ความคงทของผลลพธ จากการวดเหตการณ
ซาๆ กน โดยไมคานงวาจะวด กลมคนทแตกตางกน เครองมอท
แตกตางกน เวลาและสถานท ทแตกตางกน ใหผลลพธจากการวด
เหมอนๆ กน
สง
ความเทยง
(reliability)
ตา
ความตรง (validity)สง ตา
.....
. ..
. .
.....
. ... .
X X
ทฤษฎการวด (Theory of Measurement)
E = S + R
คาคลาดเคลอนอยางมระบบ (Systematic Error )
คาคลาดเคลอนอยางสม(Random Error)
X = T + E
คาจากการวด = คาจรง + คาทคลาดเคลอน
สาเหต Tester or RaterMeasurement InstrumentVariability of characteristics being measured
7
Rater reliability(ความเทยงของผวด)
- Inter-Rater- Intra-Raterinternal consistency
(ความสอดคลองภายใน ) Response stability
(ความคงท) or Test-Retest)
Alternate form(เครองมอทคลายกน )
-Kappa, ICC, CCC
Kuder-Richardson formula 20
Coefficient Alpha (Cronbach)
Item-Total Correlation
Spearman-Brown/ Guttman
Correlation CoefficientCCC, ICC, Kappa, CV, SEM
Correlation Coefficient
CCC, Kappa
{{{
สถตทใชทดสอบความเทยง สถตสาหรบการวเคราะหความเทยง Measure of Agreement (categorical data)
Kappa Statistics
Weight Kappa StatisticsMeasure of Agreement (continuous Data)
Concordance correlation coefficient (CCC)
Limit of Agreement (LOA)
Bland-Altman Plot
Intraclass correlation coefficient (ICC)
Nn.2n.1รวม
n2.dc-
n1.ba+
รวม-+
Rater BRater
A
a = ใหผลเชงบวกเหมอนกนd = ใหผลเชงลบเหมอนกน
p..p.2p.1รวม
p2.p22p21-
p1.p12p11+
รวม-+
Rater BRater
A
สถต Kappae
eo
p
ppk
1
ˆ
po = ความนาจะเปนความสอดคลองของคาสงเกต
pe = ความนาจะเปนความสอดคลองของคาคาดหมาย
NN
)(nn
N
)(nn
p
N
d)(ap
e
2..21..1
0 ,
..
2..21..1 )()(
p
pppppe
= 1.00
การแปลความหมายของคาสถต Kappa
(Landis & Koch, 1977)
ดมาก/คอนขางสมบรณ
(Almost Perfected)
0.81-1.00
ด (Sub Stantial)0.61-0.80
ปานกลาง (Moderate)0.41-0.60
พอใช (Fair)0.21-0.40
นอย (Slight)0.00-0.20
แย (Poor)<0.00
ขนาดความสอดคลอง
(Strange of Agreement)
คาสถต
Kappa
421428รวม
211011-
21417+
รวม-+
Rater BRater A
. kap rater_A rater_B, tab ExpectedAgreement Agreement Kappa Std. Err. Z Prob>Z-----------------------------------------------------------------64.29% 50.00% 0.2857 0.1455 1.96 0.0248
Inter-intra-observer Reliability of
MRI for Lumbar Lateral Disc
Herniation
Nn.k…n.2n.1รวม
nk.k
……
n2.2
n1.1
k…21รวม
ผวด/เครองมอวด 2ผวด/
เครองมอวด1
ใหผลสอดคลองกน
Weight Kappa
e(w)
e(w)(w)w p
ppk
1ˆ 0
k
1i
k
1j.j.jije(w)
k
1i
k
1jijij0(w)
ppwp
pwp
การคานวณ weight1k
ji1w ij
2
2
ij 1)(k
ji1w
8
การวนจฉยโรคมะเรงโดยการอานผลจากการทา xeromammogramsโดยรงสแพทย (normal, Benign, Suspected cancer, cancer)
853163828รวม
11000cancer
2921593Suspected cancer
2201174benign
33001221normal
รวมcancerSuspected cancerBenignnormalคนท 1
รงสแพทยคนท 2รงสแพทย
. kap rater_A rater_B [freq=pop], wgt(w)Ratings weighted by:
1.0000 0.6667 0.3333 0.00000.6667 1.0000 0.6667 0.33330.3333 0.6667 1.0000 0.66670.0000 0.3333 0.6667 1.0000
ExpectedAgreement Agreement Kappa Z Pr>Z------------------------------------------------------
86.67% 69.11% 0.5684 7.22 0.0000
Concordance Correlation Coefficient (CCC) พฒนาโดย Lin (1989) ขอจากดของการใชสหสมพนธ Pearson มความสมพนธแต
ไมสอดคลอง
222 )(
2
yxSS
SrS
yx
yxc
;))((
1
n
yyxxs
n
ixy
222 )(
2
yxSS
S
yx
xyc
n
yys
n
xxs
n
iy
n
ix
1212
)(;
)(
yx
xy
ss
sr
ขอมล (1, 5) (2, 6) (3, 7) (4, 8) (5. 9)
20.0
;00.1
c
00.1
;00.1
c
ตวอยางความสอดคลองคา peak expiratory
flow rate (PEFR) เมอวดดวย large Wright
peak flow meter และ mini Wright peak
flow meter
451427350423
259178
477478
260267
626656
432417
445433
658650
380442
364413
600557500476
428434
520516
430395
512494
MiniWright
วเคราะหดวย Stata. concord Wright Mini, summary
Concordance correlation coefficient (Lin, 1989, 2000):rho_c SE(rho_c) Obs [ 95% CI ] P CI type---------------------------------------------------------0.943 0.029 17 0.887 0.999 0.000 asymptotic
0.850 0.979 0.000 z-transform
Pearson's r = 0.943 Pr(r = 0)=0.000 C_b = rho_c/r=0.999Reduced major axis: Slope = 1.028 Intercept = -14.908…
Limit of Agreement (LOA)- พจารณาความแตกตางระหวางคาทนามาวดความสอดคลอง
di=(xi-yi) - คานวณชวงความเชอมน - อธบายความสอดคลองดวยกราฟ LOA
dSZd 2/1
วเคราะหดวย Stata . concord Wright Mini, ccc
Intraclass Corelation Coefficient (ICC) วด Reliability: Consistency (CA-ICC) หรอ
Absolute agreement (AA-ICC) พฒนาโดย Bartko (1966), Shrout & Fleiss (1979) ประกอบดวย โมเดล CA-ICC(m, k), AA-ICC
CA-ICC= Consistency agreement ICCAA-ICC= Absolute agreement ICC
m=1 วเคราะหจาก One-Way ANOVAm=2, 3 วเคราะหจาก ANAVA with Repeated measured
(โมเดล=2 สม Rater; โมเดล = 3 Fixed Rater)k = 1 วดโดย 1 Rater k =k ใดๆ คาเฉลยของ k Rater
error)/k]t measuremenraterinyvariabilit(yvariabilit[subject
yvariabilitsubject
error/k]t measuremenyvariabilit[subject
yvariabilitsubject
ICCAA
ICCCA
Consistency VS Absolute Agreement rater A (1, 2, 3) rater B (5, 6, 7) consistency =1 ไมใช Absolute Agreement (AA-iCC=.18)
rater A (1, 2, 3) rater B (1, 2, 3)consistency = Absolute Agreement=1
WMSWithin Subject
BMSBetween subject
P-ValueFMSSSdfSource of
variance 1)WMS](k[BMS
WMS)(BMS)1,1(
ICC
BMS
WMS)(BMS),1(
kICC
ตาราง One-Way ANOVA สาหรบ ICC(1,1), ICC(1,k)
BMS=Between-Subject Mean Square; WMS=Within Mean Square of Subject
9
]EMS-k(RMS
)1([BMS
EMS)(BMS)1,2(
nEMSk
ICCAA
n
EMS-RMSBMS
EMS)(BMS),2(
kICCAA
With in Subject
RMSBetween Rater
EMSError
BMSBetween subject
P-ValueFMSSSdfSource of variance
ตาราง ANOVA with Repeated Measure สาหรบโมเดล 2, 3
BMS=Between-Subject Mean Square RMS=Between Rater Mean SquareWMS=Within Mean Square of Subject EMS=Error Mean Square
BMS
EMS)(BMS),3(
kICCCA
BMS
EMS)(BMS),2(
kICCCA
EMSkICCCA
)1(BMS
EMS)(BMS)1,3(
EMSkICCCA
)1(BMS
EMS)(BMS)1,2(
]EMS-k(RMS
)1([BMS
EMS)(BMS)1,3(
nEMSk
ICCAA
n
EMS-RMSBMS
EMS)(BMS),3(
kICCAA
ตวอยาง ในการประเมนความสอดคลองของผ วด 2 คน สมมา 3 รายประเมนตวแปรทสนใจ
743
632
521
rater 2rater 1subject
. icc score subject rater, mixed…Two-way mixed-effects modelConsistency of agreementRandom effects: subject Number of targets = 3Fixed effects: rater Number of raters = 2-------------------------------------------------------
score | ICC [95% Conf. Interval]----------------+--------------------------------------
Individual | 1 . .Average | 1 . .
-------------------------------------------------------
. icc score subject rater,abs mixed…Two-way mixed-effects modelAbsolute agreementRandom effects: subject Number of targets = 3Fixed effects: rater Number of raters = 2-------------------------------------------------------
score | ICC [95% Conf. Interval]----------------+--------------------------------------
Individual | .1818182 .0002779 .8953642Average | .3076923 .0005556 .9447939
-------------------------------------------------------
. icc score subject rater,cons…Two-way random-effects modelConsistency of agreementRandom effects: subject Number of targets = 3Random effects: rater Number of raters = 2-------------------------------------------------------
score | ICC [95% Conf. Interval]----------------+--------------------------------------
Individual | 1 . .Average | 1 . .
-------------------------------------------------------
. icc score subject rater…Two-way random-effects modelAbsolute agreementRandom effects: subject Number of targets = 3Random effects: rater Number of raters = 2-------------------------------------------------------
score | ICC [95% Conf. Interval]----------------+--------------------------------------
Individual | .1818182 .0002779 .8953642Average | .3076923 .0005556 .9447939
-------------------------------------------------------
ICC(2,1), (2,k) ICC(3,1), (3,k)
. icc score subject rater,cons…Two-way random-effects modelConsistency of agreementRandom effects: subject Number of targets = 3Random effects: rater Number of raters = 2-------------------------------------------------------
score | ICC [95% Conf. Interval]----------------+--------------------------------------
Individual | 1 . .Average | 1 . .
-------------------------------------------------------
. icc score subject rater…Two-way random-effects modelAbsolute agreementRandom effects: subject Number of targets = 3Random effects: rater Number of raters = 2-------------------------------------------------------
score | ICC [95% Conf. Interval]----------------+--------------------------------------
Individual | .1818182 .0002779 .8953642Average | .3076923 .0005556 .9447939
-------------------------------------------------------
ICC(2,1), (2,k). icc score subject rater, mixed…Two-way mixed-effects modelConsistency of agreementRandom effects: subject Number of targets = 3Fixed effects: rater Number of raters = 2-------------------------------------------------------
score | ICC [95% Conf. Interval]----------------+--------------------------------------
Individual | 1 . .Average | 1 . .
-------------------------------------------------------
. icc score subject rater,abs mixed…Two-way mixed-effects modelAbsolute agreementRandom effects: subject Number of targets = 3Fixed effects: rater Number of raters = 2-------------------------------------------------------
score | ICC [95% Conf. Interval]----------------+--------------------------------------
Individual | .1818182 .0002779 .8953642Average | .3076923 .0005556 .9447939
-------------------------------------------------------
ICC(3,1), (3,k)
ความสอดคลองภายใน (internal consistency)
-Kuder-Richardson formula 20 (KR-20)
-Coefficient Alpha (Cronbach)
-Item-Total Correlation
-Inter item correlation
-Spearman-Brown/Guttman
โมเดล Domain-Sampling
-สรางขอคาถามครบ ไดคะแนนจรง (true Score)
-ขอคาถามแตละขอทสรางวดในเรองเดยวกน
แสดงวา “ขอคาถามแตละขอมสวนรวม
(core) ในการวด (สมพนธ)”
item1
...
item2
item3Item Nitem5
item4
item1item1
item5 Item4
DOMAIN
แบบสอบถาม...
Item=ขอคาถาม
10
Kuder-Richardson formula 20 (KR-20)
ใชกบแบบสอบถามมลกษณะของคาตอบแบบ ใช-ไมใช, multiple
choice เมอตอบถกได 1 ผดได 0
Kuder-Richardson formula 20 (KR-20)
ใชกบแบบสอบถามมลกษณะของคาตอบแบบ ใช-ไมใช
Multiple Choice เมอตอบถกได 1 ผดได 0
คาถาม ใช ไมใช ไมทราบ ไมตอบ
1. โรคเอดสเกดจากเชอไวรส
2. โรคเอดสตดตอโดยการมเพศ
สมพนธ
…
10. ปจจบนไมมวธการรกษาโรคเอดส
ใมหาย
21
120
tσ
pq
k
kKR-
Kuder-Richardson formula 20 (KR-20)
k = จานวนขอคาถาม
= ความแปรปรวนของแบบทดสอบหรอแบบสอบถามทงฉบบ
คานวณจาก
p = สดสวนของขอทตอบถกในแตละขอคาถาม, q = 1-p1
1
2
2
n
)x(xs
n
ii
t
2t
061.qp ii
21
120
tσ
pq
k
kKR-
id k1 k2 k3 k4 k5 k6 Total
1 0 1 1 0 1 1 4
2 0 0 0 0 0 0 0
3 1 1 1 1 0 1 5
4 1 1 1 1 1 1 6
5 1 1 1 1 1 1 6
6 1 1 1 1 1 1 6
7 1 1 1 1 1 0 5
8 1 1 1 1 1 1 6
9 1 1 1 0 0 0 3
10 1 1 1 0 0 0 3
pi 0.8 0.9 0.9 0.6 0.6 0.6
qi 0.2 0.1 0.1 0.4 0.4 0.4
piqi 0.16 0.09 0.09 0.24 0.24 0.24 1.06
4410
44
22
.n
xx
;n
)x(xσ
i
it
คานวณ Kuder-Richardson formula 20 (KR-20)
8302443
0611
16
620
443110
443445440444
4410
44
1
11
20
22222
1
2
2
2
..
.KR-
.).(...).().().(
s
.n
xx;
n
)x(xs
σ
pq
k
kKR-
t
i
n
ii
t
t
11
2
2
n
)x(xs
n
ii
tประมาณจาก
STATA output: KR-20
. alpha k1-k6,item
Test scale = mean(unstandardized items)
averageitem-test item-rest inter-item
Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------k1 | 10 + 0.6470 0.4924 .0966667 0.8239k2 | 10 + 0.7908 0.7167 .0933333 0.7925k3 | 10 + 0.7908 0.7167 .0933333 0.7925k4 | 10 + 0.8364 0.7222 .0744444 0.7755k5 | 10 + 0.7264 0.5581 .0855556 0.8157k6 | 10 + 0.7264 0.5581 .0855556 0.8157-------------+-----------------------------------------------------------------Test scale | .0881481 0.8302-------------------------------------------------------------------------------
11
Kuder-Richardson formula 20 (KR-20) ใชกบแบบสอบถามมลกษณะของคาตอบแบบ ใช-ไมใช/
Multiple Choice เมอตอบถกได 1 ผดได 0
4.คณเคยดมสราเปนสงแรกในตอนเชาเลยหรอไม เพอทจะได
กาจดอาการเมาคางของคณ (Eye opener)
3. คณเคยรสกไมดหรอรสกผดเกยวกบการดมสราของคณหรอไม
(Guilty)
2. เคยมคนสรางความราคาญใหกบคณโดยการกลาวตกเตอน
หรอตาหนคณเกยวกบการดมสราของคณหรอไม (Annoyed)
1.คณเคยรสกวาคณควรจะลดปรมาณการดมของคณลงหรอไม (Cut Down)
ไมใชใชขอคาถาม
Ewing JA; Detecting alcoholism. The CAGE questionnaire. JAMA. 1984 Oct 12;252(14):1905-7.
011110
01119
11118
11117
11116
11115
11114
11113
00002
01101
i4i3i2i1id
. alpha i1-i4, itemTest scale = mean(unstandardized items)
averageitem-test item-rest interitem
Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------i1 | 10 + 0.8807 0.7638 .0777778 0.7500i2 | 10 + 0.8540 0.7629 .0962963 0.7723i3 | 10 + 0.8540 0.7629 .0962963 0.7723i4 | 10 + 0.7845 0.5345 .0925926 0.8929-------------+-----------------------------------------------------------------Test scale | .0907407 0.8376-------------------------------------------------------------------------------
21
120
tσ
pq
k
kKR-
Kuder-Richardson formula 20 (KR-20)
k = จานวนขอคาถาม= ความแปรปรวนของแบบทดสอบทงฉบบ
คานวณจาก
p = สดสวนของขอทตอบถกในแตละขอq = 1-p
1
22
n
)x(xs it
2t
สมประสทธเอลฟา (Coefficient Alpha)- Modify Kuder-Richardson formula 20 (KR-20)
10. ทานคดวาการเปนโรค
เอดสเปนสงทนากลว
...
1. ทานคดวาโรคเอดสเปน
โรคทอนตรายรายแรงตอชวต
ไมเหนดวยอยางยง
(1)
ไมเหนดวย
(2)
ไมแนใจ
(3)
เหนดวย
(4)
เหนดวย
อยางยง (5)คาถาม
สมประสทธแอลฟา (Coefficient alpha) แบบทดสอบหรอแบบสอบถามทมการใหคาคะแนนไมเทากน
เชนมาตราประมาณคา (rating scale), มาตราของ Likert ฯลฯ
ขอคาถามปลายเปดเชน Modified Essay Question (MEQ)
id p1 p2 p3 p4 p5
1 1 1 1 1 1
2 2 2 3 2 1
3 3 2 2 3 1
4 4 3 3 4 4
5 1 2 2 1 4
6 2 1 3 2 2
7 3 2 2 3 3
8 4 3 3 4 2
9 1 2 2 1 4
10 2 2 1 2 2
. alpha p1-p5, itemTest scale = mean(unstandardized items)
averageitem-test item-rest inter-item
Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------p1 | 10 + 0.8707 0.7486 .2851852 0.6139p2 | 10 + 0.8615 0.8013 .4018519 0.6606p3 | 10 + 0.6745 0.5287 .4574074 0.7159p4 | 10 + 0.8707 0.7486 .2851852 0.6139p5 | 10 + 0.4349 0.1003 .6092593 0.8809-------------+-----------------------------------------------------------------Test scale | .4077778 0.7545-------------------------------------------------------------------------------
2
2
11 t
i
S
S
k
kα
สมประสทธแอลฟา
k = จานวนขอคาถาม
= ความแปรปรวนทงฉบบ
= ความแปรปรวนรายขอ
2
tS
2
iS
id p1 p2 p3 p4 p5 total
1 1 1 1 1 1 5
2 2 2 3 2 1 10
3 3 2 2 3 1 11
4 4 3 3 4 4 18
5 1 2 2 1 4 10
6 2 1 3 2 2 10
7 3 2 2 3 3 13
8 4 3 3 4 2 16
9 1 2 2 1 4 10
10 2 2 1 2 2 9
Mean 2.3 2 2.2 2.3 2.4 11.2
Variance 1.34 0.44 0.62 1.34 1.60 13.51
2is
x
2
2
11 t
i
S
S
k
kα
12
2
n
)x(xt
S
51.13110
2.119(...2.11102.115
12
2222
))()(
n
)x(xt
S
36.560.134.162.044.034.11
22
n
)x(xs ii
12
60.1110
)12(...)12()11(
1
34.1110
)3.22(...)3.22()3.21(
1
62.0110
)2.21(...)2.23()2.21(
1
44.0110
)22(...)22()21(
1
34.1110
)3.22(...)3.22()3.21(
1
22222
5
22222
4
22222
3
22222
2
222221
n
)x(xs
n
)x(xs
n
)x(xs
n
)x(xs
n
)x(xs
ip
ip
ip
ip
ip
36.560.134.162.044.034.11
22
n
)x(xs ii
คานวณความแปรปรวน รายขอคาถาม 2is คานวณความเทยง
การแปลผล
754551.13
36.51
15
5
11 2
2
.
S
S
k
kα
t
i
< 0.60 ความเทยงตา, unacceptably
0.60-0.79 ความเทยงปานกลาง
0.80+ ความเทยงสง
Murphy & Davidshofer. (2001)
ทางเลอกอนสาหรบการคานวณสมประสทธเอลฟา-ใชคาเฉลยของสหสมพนธระหวางขอคาถาม หรอ-เมตรกซสหสมพนธ ในการคานวณ (Lord & Novick,1968)Nunally, 1976; Carmines & Zeller, 1979)
-โดยคะแนนขอคาถามเปนคามาตรฐาน โดยมคาเฉลยเทากบ 0ความแปรปรวนเทากบ 1 ดงน
)]1(1[
nρ
ρn = คาเฉลยของสหสมพนธ
ระหวางขอคาถาม . alpha p1-p5Test scale = mean(unstandardized items)Average interitem covariance: .4077778Number of items in the scale: 5Scale reliability coefficient: 0.7545
. alpha p1-p5, stdTest scale = mean(standardized items)Average interitem correlation: 0.4428Number of items in the scale: 5Scale reliability coefficient: 0.7989
แบบประเมนความงวงนอน(Epworth Sleepiness Scale (The 1997 Version)
0=ไมเคยงวงหรอเคลมหลบ (would never doze) 1=มโอกาสงวงเลกนอย (slight chance of dozing)2=มโอกาสงวงปานกลาง (moderate chance of dozing) 3=มโอกาสงวงเลกสง (high chance of dozing)
_____________8. นงในรถยนตขณะหยด 2-3 นาท จากการจราจรตดขดหรอตดไฟแดงIn a car, while for stopped for a few minutes in traffic
_____________7. นงคนเดยวเงยบๆ หลงอาหารกลางวน โดยไมไดดมสราSitting quietly after a launch without alcohol
_____________6. นงและพดคยอยกบบางคน (Sitting and taking to someone)
_____________5. นอนพกผอนในชวงบาย (Lying down to rest in the afternoon,When circumstances permit)
_____________4. เปนผโดยสารในรถยนตทขบไปเรอยๆ โดยไมหยด ประมาณ 1 ชวโมง(as a passenger in a car for an hour without a break)
_____________3. นงเฉยๆ ไมเคลอนไหวในทสาธารณะ (เชนในโรงภาพยนตรหรอหองประชม)(sitting inactive in a public place (e.g. a theatre or meeting)
_____________2. นงดทว (Watching TV)
_____________1. นงและอานหนงสอ (sitting and reading)
โอกาสทจะงวงนอน(Chance of Dozing) 0-3
สถานการณ (Situation)
เอกสารอางองJohns, M.M. & Hocking, B (1997). Daytime Sleepiness and Sleep Habits of Australian Workers. Sleep, 20(10): 844-849.
2
2
11 t
i
S
S
k
kα
สมประสทธแอลฟา (Coefficient alpha)
k = จานวนขอคาถามของแบบทดสอบ
= ความแปรปรวนของขอคาถามทงฉบบ
= ความแปรปรวนของขอคาถามรายขอ
2
tS2
iS
1111101110
010401109
434143348
313331137
101113016
010401105
334443344
313031133
111013112
001000001
i8i7i6i5i4i3i2i1id
สมประสทธเเอลฟา: ขอคาถามม หนวยวด/ผ วด
แตกตาง -ใชคาเฉลยของสหสมพนธระหวางขอคาถาม
ในการคานวณ (Lord & Novick,1968;
Nunally, 1976; Carmines & Zeller, 1979)
-คะแนนขอคาถามเปนคามาตรฐาน มคาเฉลยเทากบ 0
ความแปรปรวนเทากบ 1
)]1(1[
nρ
ρn = คาเฉลยของสหสมพนธระหวางขอคาถาม
. alpha i1-i8, itemTest scale = mean(unstandardized items)
averageitem-test item-rest interitem
Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------i1 | 10 + 0.9511 0.9277 .9566138 0.8629i2 | 10 + 0.8911 0.8631 1.149735 0.8797i3 | 10 + 0.5758 0.4687 1.256614 0.9055i4 | 10 + 0.9511 0.9277 .9566138 0.8629i5 | 10 + 0.2578 0.0633 1.443915 0.9510i6 | 10 + 0.9113 0.8731 1.004762 0.8695i7 | 10 + 0.8911 0.8631 1.149735 0.8797i8 | 10 + 0.9062 0.8675 1.018519 0.8705-------------+-----------------------------------------------------------------Test scale | 1.117063 0.9007-------------------------------------------------------------------------------
. alpha i1-i8, item stdTest scale = mean(standardized items)
averageitem-test item-rest interitem
Item | Obs Sign correlation correlation correlation alpha-------------+-----------------------------------------------------------------i1 | 10 + 0.9422 0.9196 0.5311 0.8880i2 | 10 + 0.9098 0.8756 0.5408 0.8918i3 | 10 + 0.5960 0.4791 0.6357 0.9243i4 | 10 + 0.9422 0.9196 0.5311 0.8880i5 | 10 + 0.2476 0.0925 0.7409 0.9524i6 | 10 + 0.9017 0.8646 0.5433 0.8928i7 | 10 + 0.9098 0.8756 0.5408 0.8918i8 | 10 + 0.8960 0.8569 0.5450 0.8934-------------+-----------------------------------------------------------------Test scale | 0.5761 0.9158-------------------------------------------------------------------------------
13
โมเดล Domain-Sampling- สรางขอคาถามครบ ไดคะแนนจรง (true Score)
- ขอคาถามแตละขอทสรางวดในเรองเดยวกน แสดงวา
“ขอคาถามแตละขอมสวนรวม (core) ในการวด (สมพนธ)”
item1
...
item2
item3Item Nitem5
item4
item1item1
item5 Item4
DOMAIN
แบบสอบถาม...
Item=ขอคาถาม
ITEM ANALYSISทดสอบความสมพนธของขอคาถาม
- Inter item correlation หรอ- Item Total Correlation หรอ- พจารณาคาความเทยงของแบบสอบถามเมอตดขอคาถามแตละขอทงไป
ผลวเคราะห - Inter item correlation (0.20 ขนไป คาลบ, < 0.20พจารณาปรบปรง หรอตดขอคาถามทง)
- คาความเทยงของแบบสอบถามเมอตดขอคาถามแตละขอทงไปเทยบกบความเทยงของทกขอ(เลอก Alpha Coefficient ขอมล Rating Scale,เลอก KR-20 ขอมล 0,1)
-สรางขอคาถาม 5 ขอ (I) ถาขอคาถามม
“ความสอดคลองภายใน” พจารณาจากขอคาถาม
แตละขอ สมพนธกบขอคาถามอนๆ รวมกน เชน
-I1 กบ I2+I3+I4+I5 -I2 กบ I1+I3+I4+I5
-I3 กบ I1+I2+I4+I5 -I4 กบ I1+I2+I3+I5
-I5 กบ I1+I2+I3+I4 (Item Total Correlation)
-ถาสมพนธมากและไมตดลบ (+0.20) แสดงวา
ขอคาถามนนเหมาะสม (ถา <0.20 หรอตดลบตอง
ปรบปรง หรอตดทง)
. alpha p1 p2 p3 p4 p5, item
Test scale = mean(unstandardized items)
averageitem-test item-rest inter-item
Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------p1 | 10 + 0.9421 0.8735 .2203704 0.6398p2 | 10 + 0.7826 0.6860 .3944444 0.7425p3 | 10 + 0.7027 0.5522 .4055556 0.7674p4 | 10 + 0.9421 0.8735 .2203704 0.6398p5 | 10 - 0.2174 0.0198 .6092593 0.8809-------------+-----------------------------------------------------------------Test scale | .37 0.7967-------------------------------------------------------------------------------
คอลมน 3 เครองหมายของความสมพนธตวแปรนนกบผลรวมของทกตวแปร
คอลมน 4 คาสหสมพนธระหวางตวแปรนนกบผลรวมของทกตวแปร
0.9421 คอสหสมพนธระหวาง p1 กบ p1+p2+p3+p4+p5
คอลมน 5 คาสหสมพนธระหวางตวแปรนนกบผลรวมของตวแปรทเหลอ
0.8735 คอสหสมพนธระหวาง p1 กบ p2+p3+p4+p5
(Item Total Correlation)
. alpha p1 p2 p3 p4 p5, itemTest scale = mean(unstandardized items)
averageitem-test item-rest inter-item
Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------p1 | 10 + 0.9421 0.8735 .2203704 0.6398p2 | 10 + 0.7826 0.6860 .3944444 0.7425p3 | 10 + 0.7027 0.5522 .4055556 0.7674p4 | 10 + 0.9421 0.8735 .2203704 0.6398p5 | 10 - 0.2174 0.0198 .6092593 0.8809-------------+-----------------------------------------------------------------Test scale | .37 0.7967-------------------------------------------------------------------------------
คอลมน 7 สมประสทธเอลฟา กรณทตดขอคาถามขอนนออกไป เชน
.6398 หมายถงสมประสทธเอลฟาขอ p2 p3 p4 p5 ตดขอ p1
สวนคา 0.7967 คอ สมประสทธเอลฟา ของทกขอ
การแปลความหมาย ขอคาถาม p5 มคา item-total correlation (item-rest)
<0.20 และตดลบ และสมประสทธเอลฟา กรณทตดขอคาถาม p5
ออกไปเทากบ 0.8809 สงกวาสมประสทธของทกขอ (.7967)
ตองพจารณาปรบปรง/ตดทง
. alpha p1 p2 p3 p4 p5, item std detail
Test scale = mean(standardized items)average
item-test item-rest inter-itemItem | Obs Sign correlation correlation correlation alpha-------------+-----------------------------------------------------------------p1 | 10 + 0.8966 0.8136 0.2978 0.6291p2 | 10 + 0.7916 0.6444 0.3610 0.6932p3 | 10 + 0.7243 0.5445 0.4015 0.7285p4 | 10 + 0.8966 0.8136 0.2978 0.6291p5 | 10 - 0.3036 0.0281 0.6548 0.8836-------------+-----------------------------------------------------------------Test scale | 0.4026 0.7711-------------------------------------------------------------------------------Interitem correlations (reverse applied) (obs=10 in all pairs)
p1 p2 p3 p4 p5p1 1.0000p2 0.7187 1.0000p3 0.5345 0.4226 1.0000p4 1.0000 0.7187 0.5345 1.0000p5 -0.0142 0.0000 0.1252 -0.0142 1.0000
กรณวเคราะหขอคาถามใหเปนขอคาถามมาตรฐาน
คาเฉลย=0 สวนเบยงเบนมาตรฐาน=1 (ระบ std)
Inter item correlation
n
ii
n
ii
n
iii
)Y(Y)X(X(
)Y)(YX(Xr
1
22
1
1
14
ความตรง (Validity)
1. ความตรงตามเนอหา (Content Validity)
2. ความตรงตามโครงสราง (Construct Validity)
3. ความตรงเชงทานาย (Predictive Validity)
4. ความตรงตามสภาพ (Concurrent Validity)
ความตรง ระดบ (level) การวดของขอมล มความเปนจรง (true)
กบปรากฏการณ (phenomena)
ประกอบดวย
ความตรงตามเกณฑ (Criterion validity)
ความตรงตามเนอหาเปนการบอกใหทราบวา ขอคาถามทงหมดทสรางขน มเนอหา
ตางๆ ครบถวนตามวตถประสงคและถกตองครบถวนตามทฤษฎ
เชน การศกษา ความรเรองโรคเอดส เนอหา (Content Domain) ควรประกอบดวย
ความหมาย สาเหตการตดตอ
วธการตดตอ อาการ
การรกษา วธปองกน
ผลกระทบตอบคคล ครบครว ชมชน
ความตรงของแบบทดสอบ
ดชนความตรงตามเนอหา (Content Validity Index: CVI)
อตราสวนความตรงตามเนอหา (Content Validity Ratio: CVR)
ดชนความสอดคลอง (Index of Item-Objective Congruence)
Validity index (Aiken (1980, 1985: Rating Scale)
2/
2/
N
NNCVR e
judge
judge
judge N
DN
N
ACVII
nN
XXXN
I
n
j
N
m
n
j
n
jijkmjkijk
ik )1(2
)1(1 1 1 1
k
lXor
cN
inV i
)1(
คาดชนความตรงตามเนอหา (CVI) ของเครองมอม 2 ประเภท1. คาดชนความตรงเชงเนอหาของขอคาถามรายขอ (item-level CVI
หรอ I-CVI) 2. คาดชนความตรงเชงเนอหาของเครองมอทงชด (scale-level CVI หรอ
S-CVI) การคานวณคา CVI แตละชนด มดงน- คา I-CVI ผทรงคณวฒประเมนขอคาถาม - หาสดสวนของผทรงคณวฒทมความเหนตรงกนของขอคาถามแตละขอโดยกาหนดระดบความตรงตามเนอหาเปน 4 ระดบ
1 = ไมเกยวของ (not relevant)/ 2 = เกยวของนอย (somewhat relevant) 3 = เกยวของ (quite relevant) และ 4 = เกยวของมาก (very relevant)
- ขอคาถามทผทรงคณวฒประเมนวาเกยวของไดแก คาคะแนนระดบ 3 และคาคะแนนระดบ 4
- คานวณ I-CVI ดงน
A = จานวนผทรงคณวฒประเมนวาเกยวของ
D = จานวนผทรงคณวฒประเมนวาไมเกยวของ
N = จานวนผทรงคณวฒทงหมด
ถา คา I-CVI ตากวา 0.80 พจารณาปรบแกหรอตดขอคาถามนนทง
N
DACVII
- คานวณคา S-CVI เทากบขอคาถามทผทรงคณวฒประเมนวา
เกยวของ หารดวยขอคาถามทงหมด
itemofNumber
ACVIS
Item ผทรงคณวฒ (Experts/Judges)
1 2 3 4 5
1
2
3 1
4 1
5 1
Proportion 1 1 .8 (1+.6+1+1+1)/5=0.92
judge
judge
N
DNCVII
92.05
.8111.8
JudgeExpert/ofNumber
judgeExpert/eachofproportionofSum/
AveCVIS
15
05
6.5
25
8.5
15
15
05
การคานวณคา คาดชนความตรงเชงเนอหาของขอคาถามรายขอ (item-level CVI (I-CVI) และ
คาดชนความตรงเชงเนอหาของเครองมอทงชด (scale-level CVI (S-CVI)
15
เกณฑพจารณา - คาดชนความตรงเชงเนอหาของขอคาถามรายขอ (item-levelCVI (I-CVI) ขอคาถามแตละขอ มากกวาหรอเทากบ 0.78 (9 คน)
- คาดชนความตรงเชงเนอหาของเครองมอทงชด (scale-level CVI, (S-CVI/Av) มคาไมตากวา 0.80 (expert 5 คน)Polit, Beck, Owen. (2007). Is the CVI an Acceptable Indicator of
Content Validity Appraisal and Recommendations.
Expert คะแนน 3, 4 I-CVI
3-4 ทกคน 1.00
5 4 หรอ 5 .80, 1.00
6 5 หรอ 6 .83, 1.00
7 6 หรอ 7 .86, 1.00
8 7 หรอ 8 .88, 1.00
9 7 ,8 หรอ 9 .78,.89, 1.00
อตราสวนความตรงตามเนอหา (Content Validity Ratio: CVR)
2/
2/
N
NNCVR e
ขอคาถาม Essential Useful but not essential
Not necessary
1.
2.
…
n.
Ne is the number of panelists indicating "essential" N is the total number of panelists.
Minimum Values of CVR & CVRt (One Tailed Test, p = .05) (Lawshe, 1975; p568)
26
23
20
18
15
12
11
10
n
10
9
9
8
7
7
6
5
n
.2940.5612
.3135.5911
.3330.7210
.3725.789
.4220.758
.4915.997
.5114.996
.5413.995
Min ValueNo of PenalistMin ValueNo of Penalist
n = minimum of Penalist
ดชนความสอดคลองระหวางขอคาถามกบวตถประสงค (Index of Item-Objective Congruence)
(Rovinelli & Hambleton, 1977)
Iik = is the index of item-objective congruence for item kon objective i,
N = is the number of objectives (i=1, 2, …, N),n = is the number of content specialists (j=1, 2, …, n),Xijk = is the rating (-1, 0, +1) of item k as a measure of
objective i by content specialist j.
11 ikI
nN
XXXN
I
n
j
N
m
n
j
n
jijkmjkijk
ik )1(2
)1(1 1 1 1
index cut-off score is 0.75, then all items with an index of item-objective congruence below 0.75 are deemed nonvalid
Rovinelli & Hambleton. (1977). On the Use of Content Specialists in the Assessment of Criterion-Referenced Test Item Validity. Dutch Journal of Educational Research, 2, 49–60.
nN
XXXN
I
n
j
N
m
n
j
n
jijkmjkijk
ik )1(2
)1(1 1 1 1
“Tijdschrift voor Onderwijsresearch”
?????N
RIOC 000+1จ
-4-4-3+4
-1-1-1+1ง
-1-100ค
-1-1-1+1ข
-1-1-1+1ก
4321
objectivejudge
Table 3 Judges’ Ratings of Item-Objective
Congruence for a Hypothetical Item 1
Iik = I11 N = 4
n = 5
30.
30.
17.
77.030
4)7(12
)5)(14(2
))4())4()4()3(4(()4)(14(
14
13
12
11
I
I
I
I
nN
XXXN
I
n
j
N
m
n
j
n
jijkmjkijk
ik )1(2
)1(1 1 1 1
(Rovinelli & Hambleton,1976, 1977)
n
jijkX
1
16
Validity index (Aiken (1980, 1985: Rating Scale)
k
lXVor
cN
inV i
)1(
I = weight equal ci-1, c = highest rating,ni= number of rater of each rating,N = total rater (judge),
= sample mean of the judges’ ratings, l = lowest possible rating, k = range of values rating scale (Max-Min)
X
3/)1)(1(
1)12)(1(
ccN
VcNZ
Critical Value of V
89.0
)15(7
)6)(15()0)(14()0)(13()1)(12()0)(11(
V
)1(
cN
inV i
Example The rating (5 scale) for item of seven judges
are: 2, 5, 5, 5, 5, 5, 5
81.23/)15)(15(7
1)1)89.0(2)(15(7
3/)1)(1(
1)12)(1(
ccN
VcNZ
002.0ValueP
Table: Aiken’s Right-Tail Probabilities (p)Rating=5 rater=7 V = 0.82 p-value = 0.010
0.75 = 0.041
Aiken’s Right-Tail Probabilities (p) for SelectedValues of the Validity Coefficient (V) ความตรงตามโครงสราง
ความตรงตามโครงสรางเปนลกษณะของการสรางโครงสรางขนจาก
ขอคาถามหลายๆ ขอ
- ตามทฤษฎ (Theory) หรอ
- แนวคด (Concept)
แลวรวมเปนโครงสราง (Construct) หรอตวแปร (Variables)
การวเคราะหประกอบดวย
- การวเคราะหองคประกอบ Factor Analysis
- multi-trait-multi-method
ตวอยาง การวเคราะหความตรง เกยวกบการวดการรบร เกยวกบโรคเอดส
ประกอบดวยขอคาถามเพอประกอบเปนโครงสราง 4 โครงสราง ดงน
การรบรถงความรนแรงของโรคเอดส การรบร โอกาสเสยง การรบร
ประโยชนทไดรบ และแรงจงใจ โดยขอคาถามประกอบดวยตวแปร ขอความ
A1 มความจาเปนทจะศกษาความรเรองโรคเอดส
A2 การปองกนโรคเอดสเปนหนาทของทกคน
A3 โรคเอดสเปนโรคทนารงเกยจ
A4 โรคเอดสเปนโรคทเปนแลวตาย
A5 เมอทราบวาเปนเอดสจะบอกทดคนในครอบครวทราบ
A6 การสกทผวหนงมโอกาสตดเชอเอดส
A7 ผปวยเอดสทรกษาสขภาพใหแขงแรงอยเสมอสามารถดารงชวตอยในชมชน
ไดตามปกต
A8 การใหความรเรองโรคเอดสในชมชนสามารถลดปญหาเกยวกบโรคเอดสได
Component 1 2 3 4 A1 -1.001E-02 .107 .766 .201 A2 4.864E-02 -8.618E-02 .850 -5.660E-02 A3 -8.419E-02 .825 -2.781E-02 -9.160E-02 A4 .194 .757 4.751E-02 .190 A5 -4.703E-02 -.114 7.699E-02 .862 A6 .261 .270 6.600E-02 .681 A7 .881 -3.521E-02 7.242E-02 4.719E-02 A8 .872 .128 -3.386E-02 9.503E-02
แรงจงใจ
การรบรประโยชนทไดรบการรบรถงความรนแรง
การรบรโอกาสเสยง
การวเคราะหองคประกอบ Factor Analysis
17
ความตรงตามเกณฑ (Criterion Validity)- ความตรงทพจารณาความสมพนธของการวดเครองมอหนงกบ
เครองมออน หรอเครองมอทเปนมาตรฐานทองคา (Gold Standard)
(the correlation of a scale with some others measure of the
trait or disorder under study , ideally, a “gold standard”)
- ประกอบดวย
* ความตรงเชงทานาย (Predictive Validity) และ
* ความตรงตามสภาพ (Concurrent Validity)
ความตรงเชงทานาย (Predictive Validity)- การวดความตรงของ 2 เครองมอในระยะเวลาทตางกน (criterion will not be available until some time in the future)(แบบวดเจตคตตอวชาชพ --> แบบวดความสขในการทางาน)
- วธการทางสถตทใชในการประเมน * ตวแปร continuous - Regression
Categorical - Logistic Regression* ประเมน ความไว (Sensitivity), ความจาเพาะ(Specificity)
(Predictive Value), Likelihood, ROC Curve
ความตรงตามสภาพ (Concurrent Validity)- การวดความสมพนธของเครองมอทสรางขนใหมกบกบเกณฑ
(correlate the new scale with the criterion measure)
เชน วดความสมพนธเครองมอทสรางขนใหมกบเครองมอ
ทเปนมาตรฐานทองคา (Gold Standard)
(CU-TEP--->TOEFL [gold standard] )
- วธการทางสถตทใชในการประเมน
* ตวแปร continuous - Concordance Correlation Coefficient
Categorical - Kappa Statistics, Phi Coefficient
* ประเมนความสอดคลอง (Agreement)