Lecture 7: การต งคาถามวจยและการเขยนโครงรางในการ
ตดตามประเมนผล
วทธวช พนธมงคล
30 มกราคม 2561
หวขอบรรยาย
• แนวทางตดตามประเมนผลโครงการ
• การตงคาถามงานวจย
• การเขยนโครงรางการตดตามประเมนผล
2
• ทาความเขาใจกบปญหา บรบท และคาถามเชงนโยบาย
• ใครเปนผรองขอใหมโครงการ/มาตรการน?
• การประเมนนสนบสนนการตดสนใจอะไร?
• ทาไมตองประเมนโครงการ/มาตรการนในปจจบน?
• โครงการ/มาตรการนจะถกนาไปใชทใด?
• เมอไหรทมความจาเปนตองใชขอมลการประเมนน?
• ใครจะเปนผพจารณาผลการประเมน?
3
แนวทางในการดาเนนการตดตามประเมนผล (M&E)
แนวทางในการดาเนนการประเมนฯ (ตอ)
• รวบรวมขอมลประเดนปญหา
• กาหนดขอบเขต/ คาถามงานวจย
• กาหนดวธในการตอบคาถามงานวจยทเหมาะสม โดยพจารณา
• วธการ
• ความเปนไปได
• เวลา
• พจารณาวาผทตองการทราบขอมลคอใคร
4
มาตรฐานของการตดตามประเมนผล
• การใชประโยชน (Utility)
• ความเปนไปได (Feasibility)
• ความเหมาะสม (Propriety)
• มความถกตองและแมนยา (Accuracy)
5
การกาหนดขอบเขตและกรอบงานวจย
6
• กาหนดคาถามงานวจยอยางชดเจนโดยการแปลงคาถามของคนทวไป (รวมทงของผกาหนดนโยบาย) มาเปนคาถามทสามารถทาวจยได
• คาถามงานวจยควรอยในรปแบบทสามารถตอบไดดวยการทาวจย และมจานวนคาถามทสามารถบรหารจดการได
• ในการกาหนดคาถามงานวจย ควรมการประชมรวมกนระหวางผมสวนไดสวนเสยทเกยวของ
• คาถามงานวจยควรจะสอดคลองกบคาถามเชงนโยบายทจดตามลาดบความสาคญ (ยกเวนเมอผมสวนไดสวนเสยทงหมดเหนพองตองกนวาควรมการเปลยนแปลง)
Source: HTA process guidelines
ประเภทของคาถามวจย
• คาถามวจยหลก (Primary research question)• เปนคาถามหลกจะมคาถามเดยว
• เปนคาถามทสาคญทสด นาไปพจารณาเลอก Research design
• คานวณขนาดตวอยางและกาหนดตวแปร
• คาถามวจยรอง (Secondary research questions)• สามารถมหลายคาถาม มความสาคญรองลงมา ผวจยตองระลกวาอาจไมไดคาตอบถกตองครบถวนเพราะไมไดคานวณขนาดตวอยางสาหรบคาถามการวจยน
7
ลกษณะคาถามวจยทด• Relevant - คาถามวจยจะตองเกยวของกบประเดนปญหาทเกดขนจากการคนพบหรอทางปฏบต
• Manageable – สามารถเขาถงแหลงขอมลเพอนามาใชในการตอบคาถามทตงขนได
• Substantial and original – คาถามวจยควรแสดงใหเหนแนวคดของผวจยอยางเปนรปธรรม
• Fit for assessment – สามารถนาไปสวธการประเมนเพอหาผลลพธทสนใจได
• Clear and simple – มความชดเจนวาตองการอะไร รวมทงมความเรยบงาย
• Interesting คาถามทดจะตองเปนทนาสนใจ
8
ทมา: 1. Sue Hemmings (The Open University) and Anne Hollows (Sheffield Hallam University) (2005) . Formulating the Research Question
2. BRYMAN, A. (2004). Social Research Methods. 2nd ed., Oxford, Oxford University Press, chapter 2
การกาหนดคาถามงานวจย
9
• กาหนดประชากรเปาหมาย (Population: P)
• ดาเนนการในประชากรกลมใด
• ม Sub-population หรอไม?
• กาหนดโครงการ/มาตรการ (Intervention: I)
• โครงการ/มาตรการทประเมน
การกาหนดคาถามงานวจย (ตอ)
10
• กาหนดตวเปรยบเทยบ (Comparator: C)
• ตองการเปรยบเทยบกบสงใด
• พจารณาตวเปรยบเทยบทเปนไปไดทงหมด
• กาหนดผลลพธ (Output/Outcome: O)
• ผลผลต/ผลลพธ/ผลกระทบทตองการจากงานวจยคออะไร
องคประกอบหลกของโครงรางการตดตามประเมนผล• บทนา - การวเคราะหโครงการ
• วตถประสงคของการตดตามประเมนผล
• กรอบการประเมนผล
• ตวชวดและแหลงขอมล
• การออกแบบการประเมนผล
• แผนการเกบขอมล
• แผนการใชขอมลจากการตดตามประเมนผล
• งบประมาณ
• การกาหนดระยะเวลาในการตดตามและประเมนผล
11
บทนา - การวเคราะหโครงการ• อธบายรายละเอยดของโครงการทจะประเมน
• วเคราะหโครงการทจะประเมน ดงน• วตถประสงค (Objective) • ตองการบรรลเปาหมาย (Goal) • พนทเปาหมายและกลมเปาหมาย (group) • รายละเอยดกจกรรมและผลผลต (Activity & Outputs) • ผลลพธและผลกระทบ (Intended Outcomes & Impacts)• ภาคสวน/ผมสวนเกยวของ (Partnership/Stakeholders)• ปจจยนาเขา/งบประมาณ (Inputs/Budget) • ระยะเวลาในการดาเนนโครงการ (Duration)
12
การทบทวนหลกฐานเชงวชาการ
13 13
• การคนควาเอกสารตางๆ ทเกยวของกบเรองทตองการศกษา และ/หรอ โจทยวจยทกาหนด เพอใหผประเมนมความรอบรในเรองนนมากขนจนสามารถทาการประเมนในเรองดงกลาวไดอยางมคณภาพ
• สถานการณ
• ชองวางความรกอน
• แนวคดทฤษฎ
• งานวจยทเกยวของ
ระหวาง งานวจยทเกยวของเพอการอภปรายหลง
ระดบความนาเชอถอของหลกฐานเชงวชาการ
14
A systematic review or meta-analysis of all relevant RCTs, or evidence-based clinical practice guidelines based on systematic reviews of RCTs
At least one well-designed RCT
Well-designed controlled trials without randomization
Well-designed case-control and cohort studies
Systematic reviews of descriptive and qualitative
A single descriptive or qualitative study
Expert opinion
Source: Melnyk, B. & Fineout-Overholt, E. (2005)
• ฐานขอมลวชาการ
• Medline (>5500 journals from 1946)
• EMBASE (>8000 journals from 1947)
• Scopus
• Cochrane Library
• อนๆ
• Web of Knowledge
• Google Scholar
• หนงสอตาราวชาการ
• รายงานวจย วทยานพนธ และดษฎนพนธ
• รายงานการประชม สมนาวชาการ
แหลงขอมลในการสบคน
วตถประสงคของ M&E
• การตดตามตรวจสอบโครงการ (ผลผลต/ผลลพธ/ผลกระทบ?)
• การตรวจสอบการดาเนนงาน (ประสทธผล/ประสทธภาพ?)
• ประเมนความคมคาของการลงทนโครงการ
• การมสวนรวมของประชาชน/ผมสวนเกยวของ
• การประสานงาน/บรณาการงานกบองคกรอน
• ปญหาอปสรรค/ปจจยเสยง และการจดการ
• การขยายผลโครงการในวงกวาง
• ความยงยนของโครงการ
16
กรอบการประเมนผล
• กรอบแนวคดรวบยอด (Conceptual framework)
• กรอบแนวคดผลลพธ (Result framework)
• กรอบแนวคดเหตสมพนธ (Logical framework)
• กรอบแนวคดแบบตรรกะ (Logic model)
17
ตวชวด
• กาหนดตวชวดจากกรอบการประเมนผล• เลอกตวชวดผลลพธและผลกระทบของโครงการ
• อธบายรายละเอยดของตวชวด• เหตผลในการเลกตวชวดแตละตว
• แหลงขอมล
• เงอนไขความสาเรจของโครงการ
• ทาตารางสรปตวชวด
18
การออกแบบการประเมนผล
• วางแผนกาหนดรปแบบ ขอบเขต และแนวทางการประเมน
• จาเปนตองออกแบบในลกษณะของการวจย (การวจยประเมนผล)
• ตองออกแบบการประเมนผลใหเหมาะสมกบเรองทจะประเมน
• รปแบบการประเมนผลทใชจะตองชวยลดความคลาดเคลอน (error)
• รปแบบทใชจะตองชวยเพมความนาเชอถอและความถกตองแมนยาของขอมลทจะเกบ
19
ประเภทการออกแบบการประเมนผล
• การออกแบบเชงปรมาณ (Quantitative designs)• เกบขอมลในลกษณะตวเลข
• นยมใชในการวดผลกระทบ (Impact) ของโครงการ
• การออกแบบเชงคณภาพ (Qualitative designs)• เกบรวบรวมขอมลทไดมาจากการบนทก การพดคย
• ใชในการประเมนกระบวนการ (Process evaluation)
20
VS
องคประกอบการออกแบบการประเมนผล
• กลม – กลมบคคลหรอประชากรเปาหมาย• กลมประชากรทเปนเปาหมายของโครงการ (Treatment/Experiment group)
• กลมประชากรทไมเปนเปาหมายของโครงการ (Comparison/Control group/Non-project area)
• เวลาททาการวด • การวดกอนโครงการ - ไดขอมลมาออกแบบโครงการ
• การวดหลงโครงการ – ไดตวแปร/ตวชวดทบอกผลลพธของโครงการ
21
รปแบบการประเมนผล
• แบบทมกลมทดลอง (Experimental design)• มการสมกระจาย (Random assignment)
• ไมมการสมกระจาย (Non-random assignment)
• การวดผล – Pre-test, Post-test, วดความแตกตางระหวางกลม
• แบบทไมมกลมทดลอง (Non-experimental design or Observational design)
• ไมมการสมกระจาย (Non-random assignment)
• การวดผล – เกบขอมลเชงพรรณนา/ศกษาเฉพาะกรณ
22
แผนการเกบรวบรวมขอมล
• วางแผนในการเกบรวบรวมขอมลทเกยวของทงหมด
• คนหาแหลงขอมล • แหลงปฐมภม – ขอมลทเกบจากแหลงกาเนดโดยตรง เชน การสารวจแบบสอบถาม การสมภาษณเชงลก การสนทนากลม การสงเกตการณ
• แหลงทตยภม – ขอมลทไดมาจากแหลงทผอ นเกบรวบรวมไวแลว เชน จากรายงาน ฐานขอมลตางๆ เปนตน
• ระบรายละเอยดในการเกบขอมลเพอตอบตวชวด• ประชากร กลมตวอยาง วธการไดมาซงตวอยาง ขนาดตวอยาง และเครองมอทใช
• จดทาแผนการ/ตารางเวลาคราวๆ ในการเกบขอมล• ระบขอมลทตองการเกบ วนทตองการเกบ วธเกบขอมล
23
เครองมอทใชเกบรวบรวมขอมล
เชงปรมาณ เชงคณภาพ
• แบบสอบถาม
• แบบประเมน
• แบบสมภาษณ
• การสมภาษณเชงลก
• การสนทนากลม
• การสงเกต
- การสงเกตแบบมสวนรวม
- การสงเกตแบบไมมสวนรวม
• แบบสอบถามทใชคาถามปลายเปด
24
การวเคราะหขอมล
การวเคราะหขอมล
ขอมลเชงปรมาณ
สถตเชงพรรณนา
สถตเชงอนมาน
ขอมลเชงคณภาพ
การวเคราะหแบบอปนย
การวเคราะหแบบจาแนกชนดขอมล
การวเคราะหโดยใชสงทเปนแกนหลกของ
ปรากฏการณประเมน
การใชขอมล /นาเสนอผลจาก M&E
• ควรวางแผนการใชขอมลไวลวงหนา• จดทาขอเสนอแนะเชงนโยบาย
• ปรบปรงโครงการ
• ขยายผลโครงการ
• การนาเสนอผลการประเมน• เผยแพรผลการประเมน
• นาผลการประเมนไปใช
26
แผนงบประมาณ
• ควรเขยนแผนงบประมาณการตดตามประเมนผล
• ระบแหลงเงนทจะจะนามาใชในการตดตามประเมนผลโครงการ
• ประเภทการเขยนแผนงบประมาณ• แบบแบงหมวดคาใชจาย
• คาตอบแทน• งบดาเนนงาน• ใชสอย• คาจาง• คาเดนทาง
• แบบแจกแจงรายกจกรรม
27
ตวอยางแผนงบประมาณ
28
กจกรรม รายละเอยดคาใชจาย งบประมาณ (บาท)
เกบขอมล Pre-test คาแบบสอบถาม 1,000 ชด x 5 บาท 5,000
คาเกบขอมล 1,000 ชด x 5 บาท 5,000
รายละเอยด งบประมาณ (บาท)
หมวดคาตอบแทน
หมวดงบดาเนนงาน
หมวดใชสอย
หมวดคาเดนทาง
หมวดคาจาง
รวมงบประมาณทงหมด
• แบบแบงหมวดคาใชจาย
• แบบแจกแจงรายกจกรรม
ระยะเวลาในการประเมนโครงการ
• โครงการทมการตดตามประเมนผลลพธและผลกระทบตองมการทาแผนหรอกาหนดเวลาในการตดตาม ประเมนผลลพธ/ผลกระทบ
• ระยะเวลาสามารถปรบเปลยนไดตามระยะเวลาของโครงการ
• หากมการปรบเปลยนกลไกการทางานของโครงการตองมการทบทวนแผนการประเมนดวย
29
กอน ระหวาง สนสด
ระยะเวลาดาเนนโครงการ
M&E
ตวอยางการเขยนระยะเวลาในการประเมน
กจกรรม เดอนท
1 2 3 4 5 6 7 8 9 10 11 12
30
ระยะเวลาในการดาเนนโครงการ 12 เดอน
Follow us at