การตดตามและประเมนผล

1

สารบญ

1. สารสนเทศ 32. ระยะของโครงการและขอมลทตองการ

33. ลำาดบชนของวตถประสงค

4 4. ระบบตดตามและประเมนผลขององคกร CARE

6 4.1 การตดตามผล6

4.2 การประเมนผล8

5. ระบบตดตามและประเมนผลแบบมงผลสมฤทธของ UNDP 11

5.1 การตดตามผลลพธ 11

5.2 การประเมนผลลพธ 126. ประเดนสำาคญในระบบสารสนเทศ 137. ตวชวด 14 8. บทบาทและความรบผดชอบ

18

2

การตดตามและประเมนผลMonitoring and Evaluation

1. สารสนเทศ (Information)

ความสำาคญและจำาเปนของการตดตามและประเมนผล คอ ใหไดสารสนเทศ (information) เพอ 1) ประกอบการตดสนใจของทกฝายทเกยวของในโครงการทงทางตรงและทางออม 2) ใชศกษาเรยนรความสำาเรจ อปสรรค และความลมเหลวของโครงการ

ตวอยางของการใชประโยชนจากขอมลสารสนเทศ เชน * ตดตามการใชทรพยากรและงบประมาณเพอปรบปรงการจดสรร

และกระจายทรพยากรใหโครงการสามารถดำาเนนไปไดตามเปาหมายและตามกรอบงบประมาณทกำาหนด

* ศกษาปญหาและสาเหตของปญหา/อปสรรคเพอดำาเนนการแกไขไดตรงจดตรงเวลา

* ตดตามความครอบคลมและประโยชนทกลมเปาหมายพงไดรบอยางทวถง ไมกระจกตวอยทกลมใดหรอ พนทใดเปนพเศษ

3

* ตรวจสอบวาประชากรกลมเปาหมายใหการยอมรบและใชประโยชนจากโครงการมากนอยเพยงใด

* ประเมนผลกระทบระยะยาวทเกดขนกบประชาชน โดยเฉพาะ การยกระดบคณภาพชวต ไมวาจะเปนเรองรายได สขภาพ สงแวดลอม และความเขมแขงของประชาชน

* แสดงความรบผดชอบของผจดทำาโครงการทจะตองรายงานผลงานผลเงนใหทกฝายทเกยวของรบทราบ

2. ระยะของโครงการและขอมลทตองการ (Project Stages and Information

Needs)

การจดทำาขอมลและสารสนเทศ ไมจำากดวาจะตองมขนเมอโครงการไดดำาเนนการไปแลว ผจดทำาโครงการสามารถเกบและวเคราะหขอมลไดตงแตกอนเรมโครงการจนแมเมอโครงการไดสนสดไปแลว หลายป ทงนอาจแบงโครงการออกเปน 6 ระยะ ไดแก 1) กอนเรมโครงการ 2) เรมโครงการ 3) ระยะดำาเนนการ 4) ระยะกลางเทอม 5) สนสดโครงการ และ 6) ภายหลงโครงการสนสด โดยขอมลทไดมาจะมลกษณะและการใชประโยชนแตกตางกนขนอยกบระยะเวลาดงกลาว ดงแสดงในตารางท 1

--------------------------------------------------------------------------------------------------------- เอกสารอางอง : 1. Guidelines to Monitoring and Evaluation. How are we doing? By Tom Barton for CARE Uganda, January 1997 คนควาเพมเตมจากเอกสารฉบบสมบรณท www.care.ca/libraries/dmc/2. Handbook on Monitoring and Evaluating for Results. Evaluation Office, UNDP, 2002คนควาเพมเตมจากเอกสารฉบบสมบรณท http://stone.undp.org/undpweb/eo/evalnet/docstore3/yellowbook/

ตารางท 1 ระยะโครงการและขอมลทตองการ (Project Stages and Information Needs)

ระยะโครงการ ขอมลทตองการกอนเรมโครงการBefore Project

ปญหา ปจจยทกอปญหา ความตองของกลม

4

เรมโครงการProject Start-up

ดำาเนนการImplementation

กลางเทอมMid-term

สนสดโครงการEnd of Project

ภายหลงโครงการสนสดAfter Project

เปาหมาย ทรพยากรทจำาเปน ขอมลเหลานนำาไปสการวางรปแบบหรอออกแบบโครงการ

สถานการณปจจบน เพอเปน baseline data กอนลงมอปฏบตการ

การปฏบตงานเปนไปตามแผนหรอไม

กลยทธใชไดผลหรอไม ระบบบรหารจดการและการประสานภาคเปนอยางไร มสงใดบงชความสำาเรจของโครงการ

ผลสมฤทธของโครงการ

ประโยชนหรอผลกระทบทประชาชนไดรบจากโครงการและความยงยนของประโยชนนน

3. ลำาดบชนของวตถประสงคโครงการ (Hierarchy of objectives)

นอกจากจะขนอยกบระยะเวลาทเกบ ขอมลสารสนเทศทตองการยงขนอยกบวตถประสงคของโครงการทมการจดแบงไวเปนลำาดบชน (Hierarchy of objectives) การตดตามประเมนผลจงไมควรมองเพยงภาพรวมหรอมองมตใดมตเดยวโดยละเลยรายละเอยด เพราะจะทำาใหไดขอมลทไมมคณภาพ ไมเหนภาพการแทรกแซงของโครงการ (Project interventions) วามประสทธภาพ ประสทธผล ตอบสนองจดมงหมาย (goals) หรอวตถประสงค (objectives) โครงการแตละระดบหรอไมเพยงใด ตารางท 2 จะแสดงถงลำาดบชนของวตถประสงคโครงการและผลทคาดหวงพรอมตวอยางจากองคการ CARE

5

ตารางท 2 ลำาดบชนของวตถประสงค (Hierarchy of objectives) ลำาดบชนของวตถประสงค

ผลทเกด รายละเอยด ผททำาใหเกดผล ตวอยางจาก CARE

จดมงหมายสดทายFinal Goal

ผลกระทบในวงกวางImpact

สภาพความเปนอยของประชาชนโดยรวมหรอของกลมเปาหมายในระดบครวเรอน เปลยนไปในทางทดขนอยางยงยน

เกดจากประชากรเปาหมาย หรอเกดจากหนวยงานในพนท

อตราตายทารกในตำาบล ก. ลดลงรอยละ 20

จดมงหมายระดบกลางIntermediate Goal

ผลกระทบระดบบคคลEffect

ปฏกรยาหรอสงทกลมเปาหมายแสดงใหปรากฏอนเปนผลจากการแทรกแซงของโครงการ (project interventions)

ปฏกรยาตอบกลบของประชากรเปาหมายอนเปนผลจากการดำาเนนงานโครงการ

ชมชนเปาหมายมสวนรวมและมความตองการบรการอนามยการเจรญพนธเพมขน

ผลผลต Output ผลผลต Output ผลตผลทไดจากโครงการ

เจาหนาทโครงการเปนผสรางและรบผดชอบตอผลตผลนน

แพทยผใหบรการวางแผนครอบครวในชมชนไดรบการอบรมจำานวน 75 คน

กจกรรม Activity กระบวนการ Process สงแทรกแซงหรอกจกรรมในโครงการ

เจาหนาทโครงการเปนผทำาและรบผดชอบตอ

หลกสตรการอบรมดานวางแผนครอบครว

6

กจกรรมนน สำาหรบแพทยในร.พ.ชมชนจำานวน 8 หลกสตร

ปจจยนำาเขา Input ปจจยนำาเขา Input ทรพยากรทใชในโครงการ

เจาหนาทโครงการเปนผใชและรบผดชอบ

วสดและเวชภณฑวางแผนครอบครวในร.พ.ชมชนมใหบรการเพยงพอตลอดป

7

ในตารางท 2 จะเหนไดวา ปจจยนำาเขา กจกรรมและผลผลตมความเกยวเนองกน และโครงการสามารถควบคมได ผบรหารโครงการจงมหนาทรบผดชอบโดยตรงตอความสำาเรจเชงปรมาณและคณภาพของสงเหลาน สวนผลลพธระดบ effect /impact แมสวนใหญจะไดรบอทธพลจากปจจยภายนอก เชน อทธพลจากกลมเปาหมายผรบบรการ และ ผมสวนไดสวนเสยในโครงการ แตผบรหารโครงการยงคงตองรบผดชอบตอกลยทธทนำามาใชเพอใหเกด effect และ impact ดงกลาว

CARE นยามคำาวา outcomes หมายถงทกสงทกอยางทเปนผลจากการแทรกแซงของโครงการ(project’s interventions) ซงโดยปกต CARE เลอกทจะใชคำาทจำาเพาะเจาะจงใหเหนระดบความแตกตางของผลทไดโดยใชคำาวา effect หรอ impact แทน outcome

สวน outputs นน CARE หมายถงผลทเกดโดยตรงจากกจกรรมของโครงการในกรอบเวลาทกำาหนด สวนใหญเปนตวเลขแสดงปรมาณ เชน ก) ผลการอบรม ไดแก จำานวนอาสาสมครทไดรบการอบรม และอาจรวมถงการประเมนระดบความร ทกษะ และทศนคตของผทผานการอบรมดวย ข) การเสรมสรางศกยภาพ เชน จำานวนเจาหนาททไดรบการพฒนาศกยภาพ จำานวนระบบประปาหมบาน หรอคณะกรรมการทไดรบการแตงตง ค) จำานวนหนวยใหบรการทเพมขน และ ง) การใชบรการ เชน จำานวนหญงมครรภทไดรบการฉดวคซน หรอ เดกทไดรบการชงนำาหนก เปนตน

4. ระบบตดตามและประเมนผล ขององคการ CARE (Monitoring &

Evaluation System)

การตดตามประเมนผลทำาขนเพอใหไดมาซงขอมลสารสนเทศ หรออกนยหนง ระบบตดตามและประเมนผลกคอระบบขอมลสารสนเทศ (information system) ทใชวดความกาวหนา วดการดำาเนนงานและวดผลโครงการทกำาหนดไวในแตละลำาดบชนของวตถประสงค4.1 การตดตามผล (Monitoring)

8

คอการรวบรวมและบรหารจดการขอมลทเกยวเนองสมพนธกบตวชวดความสำาเรจของโครงการโดยดำาเนนการอยางตอเนองตลอดระยะเวลาดำาเนนงานโครงการ

อาจแบงการตดตามผลไดเปน 4 ประเภทหลก ดงน 1) การตดตามองคกร (Institutional monitoring)

เปนการตดตามปจจยนำาเขา เชน งบประมาณเพอดเสนทางการจดสรรและการเบกจาย ตดตามทางกายภาพ (physical monitoring) ซงเปนการตดตามความกาวหนาของกจกรรมในเชงปรมาณและเวลา เชนเปนไปตามกำาหนดเวลาหรอไม มความเทาเทยมในกลมเปาหมายหรอไมและประสทธภาพในการดำาเนนงาน ขอมลเหลานจะไดจากรายงานประจำาเดอนของเจาหนาทในพนท และขอมลทตยภมจากหนวยงานทเขารวมโครงการ

อยางไรกด หลายโครงการพบวาแมขอมลจากการตดตามทางกายภาพจะเปนไปตามแผน แตไมกอประโยชนใหแกประชากรเทาทควรและไมสรางผลกระทบทยงยน จงจำาเปนตองมการตดตามปจจยอนทมผลตอความสำาเรจของโครงการ เชน ศกยภาพของบคลากรนบตงแตกระบวนการเลอก/คดสรร การอบรม การยายออก ความสมพนธภายในองคกรและระหวางองคกร ความสมพนธกบกลมเปาหมาย รวมถงการตดตามประสทธภาพของระบบตดตามและประเมนผล

2) การตดตามบรบท/ปจจยแวดลอม (Context monitoring)

เพอใหรภาวะวกฤตหรอความเสยงใดๆทอาจเกดขนในปจจย/บรบททกลาวมาแลวในขอ 1) รวมถงปจจยตางๆทอยนอกเหนอความควบคมและมผลตอความสำาเรจของโครงการ ซงปจจยเหลานควรไดรบการตดตามอยางสมำาเสมอ เพอจะไดปรบเปลยนกลยทธหรอสงแทรกแซง (interventions)

ใหเหมาะสมกอนปญหาจะขยายตว ตวอยางปจจยแวดลอม เชน สภาพเศรษฐกจ สงคม การเมอง และนโยบายตางๆทมผลตอโครงการหรอกระทบตอศกยภาพของกลมเปาหมาย

สงแทรกแซง (interventions) มหลายลกษณะ ทงทมาในรปของแผนงาน โครงการ กจกรรม เชนทเรารจกกนด หรอมาในรปของ

9

ความชวยเหลอทจบตองไมได (‘soft’ assistance*) เชน การใหคำาแนะนำา การชนำา การชแจงนโยบาย การแลกเปลยนความคดเหนและปรบความเขาใจใหตรงกนในประเดนนโยบายโดยทงหมดนมจดมงหมายเพอใหทกฝายทำางานสอดประสานกนและนำาไปสผลลพธหรอการพฒนาทตองการ ทงนองคการ UNDP ใหความสำาคญกบ soft assistance ไมนอยไปกวาการสนบสนนทเปนรปธรรม(* ‘soft’ assistance includes policy advice and dialogue which are central to UNDP’s effort to help countries make development gains. In terms of assessment, it should be noted that policy advice and policy dialogue are related but distinct. Assessing policy advice requires looking how information and analysis on policy options is provided to stakeholders, and then considering its impact from a human development perspective. In contrast, assessing policy dialogue requires examining how the exchange of information on policy options is facilitated among stakeholders, and considering the consequences for human development.)

3) การตดตามผลของโครงการ (Results monitoring)

ผลของโครงการมทงผลกระทบระยะสน(effect) ทเกดขนโดยตรงกบกลมเปาหมายของโครงการและผลกระทบระยะยาว (impact) ทเกดขนในวงกวาง เชน ระดบครวเรอน ระดบชมชน การประเมนผลกระทบระยะสน เปนการประเมนความคดเหน ปฏกรยาและการตอบรบของกลมเปาหมายทมตอผลผลตโครงการซงจะชวยใหเจาหนาท/ผบรหารรถงระดบการยอมรบของประชากรเปาหมาย ตวชวดดไดจากทศนคตและพฤตกรรมทเปลยนไป เชน เกษตรกรเปลยนจากการใชปยเคมมาใชปยชวภาพ หรอ เดกนกเรยนแปรงฟนหลงอาหารกลางวน ลดการกนหวานและออกกำาลงกายมากขน เปนตน

สวนการประเมนผลกระทบระยะยาวชวยใหรวากลยทธทใชนนจะนำาไปสจดมงหมายสดทาย (final goal) ของโครงการหรอไม โดยวดจากความเปนอยและคณภาพชวตทดขน เชน รายไดของครวเรอน แบบแผนการบรโภค ความสามารถในการพงตนเอง หรอศกยภาพในการสรางผลผลตทางการเกษตรในสภาพดนฟาอากาศทไมแนนอน เปนตน ขอมลสารสนเทศในระดบนเปนไดทงขอมลเชงปรมาณ และเชงคณภาพ สวนวธการเกบขอมล

10

สวนใหญใชการสมภาษณและการสงเกต และอาจใชขอมลเสรมจากรายงานของหนวยงานทเกยวของ

4) การตดตามวตถประสงค (Objectives monitoring )

เพอตรวจสอบวาในสถานการณทเปนอยนน โครงการจะสามารถบรรลวตถประสงคหรอไม สวนใหญเปนการหาอปสรรคหรอสงนอกเหนอความคาดหมายทกอผลขางเคยง(ในทางลบ)ใหกบโครงการ

4.2 การประเมนผล (Evaluation)

การประเมนผลเปนการวดตามระยะเวลา (periodic assessment) ดงน1) การศกษาพนฐาน (Baseline study)

เปนการเกบและวเคราะหขอมลตวชวดกอนการแทรกแซงของโครงการ (interventions)เพอใชเปนตวเปรยบเทยบ (benchmark) ตอนกลางเทอมและเมอโครงการสนสด นอกจากนการวเคราะหขอมลตวชวดกอนเรมโครงการยงบอกใหรแตเนนๆวาตวชวดทโครงการกำาหนดนน สามารถวดไดหรอไม (measurability) เพอปรบใหเหมาะสมสำาหรบการประเมนระยะตอไป

หากพนธมตรโครงการ และ/หรอประชากรเปาหมายมโอกาสเขารวมในการวางแผนการศกษาพนฐาน ไดรวมออกแบบ ลงมอเกบขอมล และวเคราะหขอมล จะทำาใหพนธมตรเหลานมความรสกรวมกบโครงการและกระบวนการแทรกแซงทจะเกดตามมามากขน ตวอยางจาก 2 หมบานในประเทศมาลาว ผลการสำารวจเบองตนระบวา 2 ใน 3 ของครวเรอนในหมบานก.ไมใชสวม ขณะทหมบาน ข. มเพยง 1 ใน 3 ของครวเรอนทไมใชสวม เมอโครงการดำาเนนไป พบวามากกวาครงหนงของครวเรอนในหมบาน ก. ยนดใหความรวมมอในการมและใชสวมถกสขลกษณะ

ขอควรระวงในการศกษาพนฐาน * เกบขอมลมากเกนไป และไมเจาะจงวาจะเกบอะไร * ประชากรกลมเปาหมายไมมสวนรวม * ขอมลทไดเปนขอมลทเกดขนในเวลาใดเวลาหนง เชน หลงฤดเกบเกยว หรอ ในไตรมาสท 2 เมอจะเกบขอมลครงตอไปนำามาเปรยบเทยบควรเกบในชวงเวลาใกลเคยงกนเพอนำามาเปรยบเทยบกนได * มขอผดพลาดในการเลอกกลมตวอยางซงจะทำาใหคณภาพของการศกษาดอยลง เชน เลอกเฉพาะกลมตวอยางทมการ

11

2) การทบทวนประจำาป (Annual review)

เปนการประเมนภายในโดยทมบรหารโครงการซงจะทำาอยางตอเนองทกปตลอดอายโครงการ ขอมลทใชสวนใหญไดจากการตดตามผล เชน งบประมาณ ขอมลทางกายภาพ ผลกระทบระยะสน และขอสนนษฐาน วตถประสงคเพอวดความกาวหนาโครงการ ทบทวนกลยทธ รวมถงเปรยบเทยบผลงานกบเปาหมายทระบในแผน

3) การศกษาเชงพเคราะห (Diagnostic study)

ทำาเมอตองการขอมลเจาะลกเกยวกบขอจำากดและ/หรอโอกาสของโครงการ การศกษาชนดนไมตองทำาเปนประจำาแตจะใหขอมลทรวดเรวและมประโยชนตอการวางแผนและบรหารจดการโครงการ

4) การประเมนผลกลางเทอม ( Mid-term Evaluation)

เปนการประเมนภายนอกและใหขอเสนอแนะโดยประเมนในประเดนผลงาน ผลการเบกจายงบประมาณ โครงสรางองคกร การพฒนาองคกร การพฒนาบคลากรเพอเสรมงานโครงการ รปแบบโครงการ ความเชอมโยงระหวางกลยทธ ความสมพนธกบภาค ผลกระทบทเกดขน การตอบรบของกลมเปาหมาย ปจจยเสยงและขอสนนษฐาน รวมถงขอมลทไดจากรายงานประจำาปและการศกษาเชงพเคราะห (โครงการมระยะเวลาดำาเนนการมากกวา 1 ปขนไป การประเมนผลกลางเทอมจงไมใชการประเมนรอบ 6 เดอนหรอการประเมนกลางป )

5) การประเมนเมอสนสดโครงการ (Final Evaluation)

12

สามารถทำาไดเปนการภายในหรอมบคคลภายนอกรวมคณะประเมน ขอมลเพอการวเคราะหจะเหมอนกบขอมลทใชในการประเมนกลางเทอมแตอาจเพมประเดนความคมคา แหลงขอมลมาจากเอกสารโครงการ การดงานในพนท การประชม/การแลกเปลยนความคดเหนกบกลมคนทเกยวของในโครงการ เชน ประชากรเปาหมาย เจาหนาทโครงการ ผบรหาร และผใหทนสนบสนน วธการวเคราะหขอมลททำาในการประเมนเมอสนสดโครงการม 2 วธหลก ไดแก

* before and after เปรยบเทยบผลการเปลยนแปลงทเกดขนในตวชวดกอนเรมโครงการโดยดจาก baseline study และเมอโครงการสนสด ขอจำากดของวธนคอ ไมสามารถบอกไดวา เมอโครงการสนสดไปแลว ประโยชนทประชาชนไดรบจะยงคงอยอยางยงยนหรอไม และอะไรคอปจจยททำาใหยงยน (หรอไมยงยน)

* with and without เปรยบเทยบการเปลยนแปลงทเกดขนระหวางกลมทไดรบผลจากกจกรรมการแทรกแซงของโครงการและกลมทไมมโครงการ

6) การประเมนหลงการสนสดโครงการ (Ex-post evaluation)

ดำาเนนการภายหลงโครงการสนสดแลว 5 – 10 ป โดยคณะประเมนจากภายนอก เพอประเมนความยงยนของผลการพฒนาตามโครงการ โดยดทงผลทเกดกบครวเรอน/ชมชน และผลทเกดกบหนวยงานของรฐและภาคทเกยวของในแงเศรษฐกจ สงคม สงแวดลอม และผลกระทบในองคกร (เชน ศกยภาพของบคลากรสามารถดำาเนนงานตอไป หรอหนวยงานยงคงจดสรรงบประมาณสนบสนนแมโครงการสนสดลงแลว เปนตน) แหลงขอมลจะมาจากการสมภาษณ การสงเกต เอกสารรายงานและเอกสารผลการประเมนโครงการ

การตดตามและประเมนผลเพอไดมาซงขอมลสารสนเทศเปนสงจำาเปนและมประโยชน แตในทางปฏบตอาจพบจดออนหลายประการ จดสำาคญอยทเราสามารถหาจดแขงจดออนของเราพบหรอไม หากเรารจก

13

ตวเองมากเทาใด เราจะพฒนาและปองกนไดมากเทานน ดงตวอยางการวเคราะหตนเองขององคการ CARE ตอไปน

ตารางท 3 จดแขงและจดออนของการตดตามประเมนผลขององคการ CARE ในประเทศอกนดา

จดแขง จดออน* จดเกบขอมลสมำาเสมอและมระบบรายงานชดเจน* ทกโครงการของ CARE มแบบฟอรมเกบขอมลและแบบรายงานเปนมาตรฐานเดยวกน * มทรพยากรสนบสนนการตดตามประเมนผลอยางเพยงพอ* เผยแพรขอมลสารสนเทศทวถงทกฝายทเกยวของ เชน ผใหทน ผบรหารโครงการ ชมชนเปาหมาย ภาคเครอขาย ฯลฯ* เจาหนาทผรบผดชอบการตดตามประเมนผลมความตงใจในการทำางาน ทำาใหงานมคณภาพ* ศกยภาพของโครงการ เชน มการวางแผนอยางเปนเหตเปนผล (logical framework) มกรอบการตดตามประเมนผล มเจาหนาททสามารถ

* การวางแผนเกบขอมลและการบรหารจดการสารสนเทศไมเขมแขงเนองจากบคลากรขาดทกษะทางวชาการ เลอกตวอยางไมดพอ เกบขอมลมากเกนไป และไมสามารถวเคราะหขอมลได* ขอมลไหลทางเดยว คอจากพนทเขาสสวนกลาง แตไมไดสงผลการวเคราะหปอนกลบใหพนททำาใหเจาหนาทในพนทมองวาการตดตามประเมนผลเปนเพยงกจกรรมทเสรมเขามา ไมมความสำาคญเมอเทยบกบงานในหนาททตองทำาเพอใหผานการประเมน เชนเดยวกบผเกยวของหรอประชาชนผใหขอมลหากไมไดรบขอมลปอนกลบพวกเขาจะมความคดในทางลบ มองเปนเรองเสยเวลาและอาจไมใหความรวมมอในครงตอๆไป* ระบบขอมลของแตละโครงการไมเปนมาตรฐานเดยวกน* ขาดการประสานการมสวนรวมของภาคและผมสวนไดเสยใน

14

โครงการ* ใหความสนใจกบขอมลเชงปรมาณมากเกนไป* ขาดการเชอมโยงระหวางการจดทำาแผนทเปนเหตเปนผล กบการตดตามและประเมนผล

5. ระบบตดตามและประเมนผลแบบมงผลสมฤทธ ของ UNDP (Results-

Based Monitoring & Evaluation System)

ระบบตดตามและประเมนผลของ UNDP เปนอกตวอยางหนงทควรเรยนร เพราะองคกรใหญระดบโลกแหงนไดเปลยนแปลงระบบของตนเรมมาตงแตป พ.ศ. 2542 จากรปแบบเดมทเนนปจจยนำาเขา กระบวนการดำาเนนงาน และผลผลตโครงการ (programme and project-based monitoring and evaluation system) เปนระบบตดตามและประเมนผลแบบมงผลสมฤทธ (results-based monitoring and evaluation system) โดยใหความสำาคญกบปจจยตางๆทมตอผลลพธ ไมวาจะเปนผลผลต การมสวนรวมของพนธมตร การชแจงนโยบายและการแลกเปลยนความคดเหนเกยวกบนโยบายดงกลาว(soft assistance) นอกจากน UNDP ยงใหความสำาคญกบการสรปบทเรยนทไดจากการดำาเนนงาน (lesson learned)โดยถอเปนความรทผานการประเมนแลว (evaluative knowledge)ซงในบทเรยนนนอาจรวมถง รปแบบ“ทด - good practices”ทสมควรบนทกไว

การตดตามและประเมนผลแบบมงผลสมฤทธ ของ UNDP จะวดทความกาวหนาของผลผลตซงนำาไปสความสำาเรจระดบผลลพธหรออกนยหนงคอการเปลยนแปลงทเกดจากการพฒนา (development change) แผนภาพขางลางนแสดงใหเหนความเชอมโยงระหวางผลผลตและผลลพธในหวงโซแหงผลสมฤทธทเรมจากปจจยนำาเขาจนถงโซหวงสดทายคอคณภาพชวตของประชาชน

แผนภาพท 1 The Result Chain

15

The Result Chain INPUTS OUTPUTS OUTCOMES IMPACT* Experts * Studies * Income * Health * Equipment completed increased conditions * Funds * People * Jobs improved trained created * Longevity increased

5.1 การตดตามผลลพธ (outcome monitoring)

การตดตามผลในระบบของ UNDP มทงตดตามการดำาเนนงาน (implementation monitoring) และตดตามผลลพธ (outcome monitoring) ซงแตกตางกนดงแสดงในตารางท 4 แตสามารถบรณาการในขนตอนการวางแผนเพอหลกเลยงความซำาซอนและลดคาใชจาย

ตารางท 4 ขอแตกตางระหวางการตดตามการปฏบตงานกบการตดตามผลลพธการตดตามการปฏบตงาน

(รปแบบดงเดมทใชในการตดตามโครงการ)

การตดตามผลลพธ(ใชสำาหรบตดตามผลของการแทรกแซงโครงการและผลจากกลยทธทนำาไปใช)

* บรรยายถงปญหาหรอสถานการณกอนเรมโครงการ* กำาหนดมาตรฐานสงสด (benchmark) ของกจกรรมและผลผลตทตองการ* รวบรวมขอมลเกยวกบปจจยนำาเขา กจกรรมและผลผลต* มระบบรายงานการจดสรรทรพยากร/ปจจยนำาเขาและสงจำาเปนอนๆ* ตดตามการแทรกแซงโครงการเปนรายเรอง หรอเปนชด * ตดตามเพอใหไดขอมลสารสนเทศเชง

* มขอมลพนฐานประกอบการอธบายสภาพปญหาหรอสถานการณกอนเรมโครงการ* กำาหนดตวชวดผลลพธ* รวบรวมขอมลเกยวกบผลผลตและประเดนทแสดงใหเหนวาผลผลตนนมสวนทำาใหเกดผลลพธทตองการไดอยางไร* ใหความสำาคญกบการรบร/ความเขาใจทเปลยนไปของผมสวนไดสวนเสย และสนใจดานความชวยเหลอประเภท soft

16

บรหารจดการและความกาวหนาในการดำาเนนงาน มากกวาขอมลดานประสทธผล

assistance มากขน*มระบบรายงานความกาวหนาของผลลพธทงดานปรมาณและคณภาพ* ดำาเนนการรวมกบพนธมตร* สรปเหตแหงความสำาเรจหรอลมเหลวของ UNDP ในการใชกลยทธการมสวนรวมของภาคพนธมตรเพอบรรลผลลพธของโครงการ

5.2 การประเมนผลลพธ (outcome evaluation)

มคณสมบตบางประการเหมอนกบการตดตามผลลพธ (outcome

monitoring) กลาวคอ มการเกบและวเคราะหขอมลอยางเปนระบบเพอดความเปลยนแปลงทเกดขนเมอเทยบกบขอมลพนฐานกอนเรมโครงการ และทำาความเขาใจถงสาเหตทเกด/ไมเกดการเปลยนแปลง ทงการตดตามและประเมนผลลพธจะสมพนธกบกระบวนการตดสนใจในระดบโครงการ(programme) และระดบนโยบาย และตางกใหขอมลสารสนเทศทเปนประโยชนตอการปรบปรงกลยทธและ interventions อยางไรกด การตดตามผลลพธและการประเมนผลลพธยงมขอแตกตางในดานวตถประสงค จดเนน วธการ และการนำาผลไปใชดงแสดงในตารางท 5

ตารางท 5 ขอแตกตางระหวางการตดตามผลลพธและการประเมนผลลพธการตดตามผลลพธ การประเมนผลลพธ

วตถประสงค ตดตามการเปลยนแปลงจากสถานการณกอนเรมโครงการไปสผลลพธทตองการ

แสดงหลกฐานวาบรรลผลสำาเรจในเรองใดบาง ดวยเหตใดและอยางไรจงบรรลผลสำาเรจ/หรอไม

17

สำาเรจจดเนน เนนผลผลตของโครงการยอย

(projects) โครงการใหญ (programmes) ความรวมมอของพนธมตร และ soft assistance ทมสวนทำาใหเกดผลลพธ

เปรยบเทยบผลลพธทไดกบแผนทวางไว เนน”อยางไร” และ ทำาไม” ” ผลผลตและกลยทธทใชจงนำาไปสความสำาเรจ

วธการ ตดตาม วด และวเคราะหความกาวหนาของตวชวดในแตชวงเวลา

ประเมนความสำาเรจตามตวชวดโดยเปรยบเทยบระหวางกอนและหลงโครงการ อาศยขอมลจากการตดตามผลและจากแหลงภายนอก

การควบคม โดย Programme Managers ,

Project Managers และพนธมตรทสำาคญ ทำาอยางตอเนองและเปนระบบ

ตามกำาหนดเวลา ลงลก ประเมนโดยบคคลภายนอกและพนธมตร

การใชประโยชน

สงสญญานเตอนผบรหารใหทราบถงปญหาและหาหนทางใหมทถกตอง

เสนอกลยทธ/นโยบายใหมเปนทางเลอก และสรปบทเรยน

6. ประเดนสำาคญในระบบสารสนเทศในการจดทำาระบบสารสนเทศ นอกจากจะดคณภาพของขอมลในแง

ความถกตอง (accuracy) ตรงประเดน ( relevance) ทนเวลา (timeliness) และเชอถอได (credibility) ยงตองใหความสำาคญกบเรองตอไปน

1) อทธพลของโครงการ (Attribution)เปนขอมลทแสดงใหรวาผลทเกดขนมาจากการแทรกแซงของ

โครงการมใชจากปจจยอน ดงนนจงตองมการวางแผนเกบขอมลตงแตเรมโครงการ โดยมวธการไดมาซงขอมลดงน

* เปรยบเทยบระหวางการมและไมมโครงการ (the ‘with/without’ scenario) เปรยบเทยบระหวางกลมทมการแทรกแซงของโครงการและกลมทไมม ทงสองกลมตองมคณสมบตทเทา

18

เทยมกนหรอคลายกน หากกลมทงสองไมเหมอนกนจะเปนจดออนของขอมลทไดมา

* เปรยบเทยบกอน-หลง (the ‘before and after’ scenario) การประเมนดวยวธน กอนเรมโครงการตองมการเกบขอมลพนฐานตามตวชวดทกำาหนดและเกบอกครงเมอโครงการสนสด (final

evaluation) อยางไรกตามวธนยงมจดออนตรงไมสามารถระบไดชดเจนวาผลทเกดขนนนมาจากการแทรกแซงของโครงการโดยตรง หรอมาจากปจจยอนดวย และไมสามารถบอกไดวาผลการพฒนานนจะยงยนตอไป

2) ประสทธผลโครงการ (Effectiveness)การประเมนประสทธผลโครงการอาจทำาในระดบผลผลตหรอผลท

โครงการควบคมได แตมกจะมจดออนทเนนจำานวนมากกวาคณภาพ 3) ความสำาคญ (Significance) ประเมนเกยวกบการมสวนรวมของภาคและกลมเปาหมายในขนตอน

การวางแผน การบรหารจดการ และการประเมนผล ,ประเมนขนาดความครอบคลมประชากร (scale) และประเมนการนำาไปใชตอ (replicability)เพอดวารปแบบโครงการสามารถนำาไปใชในโครงการอนกบชมชนอนไดหรอไม

4) ความยงยน (Sustainability)เพอดวากจกรรมโครงการยงคงดำาเนนตอไปหรอไมแมโครงการจะ

สนสดแลวกตาม ซงความตอเนองนนอาจอาศยงบประมาณของชมชนหรอจากการสนบสนนขององคกรปกครองทองถน ในกรณทมการมอบหมายหนวยงานใดหนวยงานหนงรบผดชอบดำาเนนงานตอ การประเมนความยงยนจะรวมถงความยงยนของหนวยงานนนดวย เชน ความมนคงขององคกร ศกยภาพ ประสทธผลของการปฏบตงาน และสถานภาพทางการเงน เปนตน อกมมมองหนงของการประเมนความยงยน คอ ประเมนผลกระทบทมตอสงแวดลอม ระบบนเวศ และทรพยากรธรรมชาต

ตวอยางการประเมนความยงยน เชน

19

* แมโครงการสนสดไปแลวแตในพนทยงคงมความตอเนองของกจกรรม แสดงวาชมชนยงตองการกจกรรมนนๆและยนดออกทนสนบสนน* การยอมรบและนำาเทคโนโลยทไดจากโครงการไปประยกตใช แสดงความยงยนของการใชประโยชนระดบบคคล* การขยายผลการพฒนาทำาใหเกดเทคโนโลยใหม * ผลตผลทไดจากการพฒนา* ผลกระทบตอสงแวดลอม* ผลกระทบทมตอความเปนอยของครวเรอน/ชมชน

7. ตวชวด (Indicators) การกำาหนดตวชวดจะองกบลำาดบชนของวตถประสงค เชน ขอมล

เกยวกบปจจยนำาเขาและกจกรรมจะแสดงผานตวชวดกระบวนการ สวนตวชวดผลผลตจะชวยใหผบรหารรวาโครงการอยหาง/ใกลเปาหมายเพยงใด แนวโนมและจดทเปนอปสรรคมอะไรบาง ดงแสดงในตารางท 6

ตารางท 6 ประเภทของตวชวดจำาแนกตามลำาดบของวตถประสงคลำาดบของ

วตถประสงคประเภทตวช

วดลกษณะตวชวด ตวอยาง

จดมงหมายสดทาย

ผลกระทบระยะยาวระดบ Impact

วดความเปลยนแปลงทเกดขนและความยงยน

ความเปนอยทดขนของชมชน การมสวนรวมของชมชน ความมนคงทางเศรษฐกจ ฯลฯ

จดมงหมายระยะกลาง

ผลกระทบระดบeffect

บงชการตอบรบของกลมเปาหมายทมตอผลผลตโครงการ เชน พฤตกรรมและการรบรทเปลยนไปเนองมาจากกจกรรมใหสขศกษา รวมถงการเปลยนแปลงอยางเปน

รอยละของครวเรอนในพนทดำาเนนการใชเกลอเสรมไอโอดนในการปรงอาหารจำานวนโรงพยาบาลสงเสรมสขภาพ

20

ระบบในระดบองคกร ผลผลต ผลผลต แสดงถงผลผลตโครงการ

หรอสงทไดจากการจดทำากจกรรม

จำานวนเจาหนาทสถานอนามยทผานการอบรมเรองการวางแผนครอบครวจำานวนเกษตรกรทผานการอบรมการใชสารเคมกำาจดศตรพช

กจกรรม กระบวนการ แสดงถงกจกรรม หรอกระบวนการดำาเนนงานโครงการ

จำานวนหลกสตรการอบรมทจดขน

ปจจยนำาเขา ปจจยนำาเขา แสดงถงทรพยากรทใชในโครงการ

จำานวนถงรบขวญเดกแรกเกดจำานวนบคลากรในโครงการ

นอกจากน ประเภทของตวชวดอาจจำาแนกไดตามประเดนทตองการประเมน ดงแสดงในตารางท 7 ตารางท 7 ประเภทของตวชวดจำาแนกตามประเดนทตองการประเมนประเดนทตองการ

ประเมนสงทแสดงในตวชวด ตวอยาง

availability บงชวามสงใดสงหนงอยหรอไม และสงนนมอยทวไป(available)หรอไม

มอาสาสมครทผานการอบรมแลว 1 คนในทก 10 หลงคาเรอน

relevance บงชวาสงนนมความสมพนธ (relevant)หรอเหมาะสม(

appropriate)อยางไร

เตาชนดใหมใชเชอเพลงในการหงตมนอยกวาเตาชนดเดม

accessibility บงชวาสงทมอยนนประชาชน สถานอนามยในตำาบล ก. อาจ

21

ทตองการสามารถเขาถงไดหรอไม

หางไกลเกนเขาถงสำาหรบชมชนในตำาบล ข. เนองจากมภเขา หรอแมนำาขวางกน ไมมเสนทางคมนาคม หรออาจเนองมาจากความยากจน

ตารางท 7 ประเภทของตวชวดจำาแนกตามประเดนทตองการประเมน (ตอ) ประเดนทตองการ

ประเมนสงทแสดงในตวชวด ตวอยาง

utilization บงชวาสงทมอยนน (available)

มการนำาไปใชประโยชนตรงตามวตถประสงคหรอไม

จำานวนเกษตรกรทไมมการศกษาเขาชนเรยน กศน. อยางสมำาเสมอ

coverage บงชสดสวน (proportion) ของประชากรทจำาเปนตองไดรบสงใดสงหนงและไดรบสงนนตามทตองการ

รอยละของประชากรทปวยเปนวณโรคและ ไดรบการรกษาพยาบาลอยางตอเนอง

quality บงชคณภาพหรอมาตรฐาน นำาประปาสะอาด ปลอดภย ดมไดจากกอก

effort บงชสงทลงทนลงแรงไป(invest) เพอใหไดผลตามวตถประสงค

จำานวนแรงงานชายทสามารถปลกตนสกได 500 ตนภายใน 1 สปดาห

efficiency บงชประสทธภาพหรอทรพยากร/กจกรรมทไดดำาเนนการเพอใหบรรลวตถประสงค

จำานวน, ความถ, และคณภาพของการนเทศตดตามการปฏบตงานของอาสาสมครภายหลงการอบรม

impact บงชวาสงทโครงการไดทำาไปแลวนนกอใหเกดการเปลยนแปลงระยะยาวหรอไม

จำานวนการเกดโรคโปลโอลดนอยลงในระยะ 2 -3 ป ภายหลงการรณรงคหยอดวคซนปองกนโรคโปลโอในพนทเปาหมาย

(Feuerstein, 1986)

22

สงทตองคำานงถงในการเกบขอมล คอ ขอมลนน นาจะร “ - nice to

know” หรอ “จำาเปนตองร - need to know” ถาคดจะเกบเพราะมนดนาสนใจ ( หรออาจใชประโยชนไดในอนาคต) ใหหยดความคดนไว และยดกฎวา หากเรมลงเลวาควรจะเกบขอมลนดหรอไม คำาตอบคอ ไมตองเกบ“ ”

ในการกำาหนดตวชวด มหลายครงทตวชวดนนไมสามารถบงชสงทโครงการตองการร หรอไมสอดคลองกบวตถประสงค สมควรเปลยนแปลงตวชวดนน ดงตวอยางโครงการ CARE ในอกนดา ทแสดงใหเหนการปรบแกตวชวดใหเหมาะสมยงขน

ตารางท 8 ตวอยางการปรบแกตวชวดและเหตผลทปรบแกจดมงหมายระยะกลาง : สตรทมารบบรการอนามยแมและเดกทสถานอนามยมจำานวนเพมขน

ตวชวดเดม ตวชวดปรบใหม เหตผลทปรบสตรรบบรการทำาคลอดทสถานอนามยโดยเจาหนาททอบรมแลวคดเปนรอยละ 24 – 45 ของสตรมครรภทงหมดในพนทโครงการ

*รอยละของการคลอดทงหมดในพนทโครงการดำาเนนการโดยเจาหนาททอบรมแลว

* แยกเปาหมายออกจากตวชวด*ใชภาษาทชดเจนและเขาใจงาย

จำานวนสตรทไดรบการสงตอแตเนนๆและมารบบรการทสถานอนามยเพอปองกนปญหาจากการตงครรภ

*จำานวนสตรทไดรบการสงตอแตเนนๆเพอปองกนปญหาจากการตงครรภ*จำานวนสตรทไดรบการสงตอและยงมารบบรการจากสถานอนามย

* ใชภาษาทชดเจน* ไดรบการสงตอ และ มารบบรการ ตองแยกวดเพราะตวแรกเปนผลผลตทโครงการควบคมได สวนตวทสองเปนผลกระทบ(effect) ทอยนอกเหนอความควบคมของ

23

โครงการจดมงหมายระยะกลาง : เกษตรกร 7,000 ครอบครวทเขารวมโครงการประจกษในผลตผลทเพมขนอยางมากเนองมาจากวถเกษตรทเปนมตรกบสงแวดลอมอยางนอยรอยละ 60 ของเกษตรกรทเขาโครงการทำาการเกษตรทเปนมตรกบสงแวดลอมภายในปค.ศ. 1999

*รอยละของเกษตรกรทเขาโครงการทำาการเกษตรทเปนมตรกบสงแวดลอมตามรปแบบทโครงการนำาเสนอ 1 หรอมากกวา 1 รปแบบ

* แยกตวเลขเปาหมายและปทกำาหนดออกจากตวชวด* ตวชวดเจาะจงขนใหวดงายขน โดยระบวา 1 หรอ มากกวา 1 รปแบบ

อยางนอยรอยละ 25 ของผเขารวมโครงการสรางผลผลตทางการเกษตรทขายไดในตลาดสงขนรอยละ 20 ภายในป ค.ศ. 1999

*รอยละของครวเรอนทรวมโครงการสรางผลผลตทางการเกษตรตอไปนเพมขนอยางนอยรอยละ 20 ไดแก กลวยและนม

* แยกเปาหมายออกจากตวชวด* ตวชวดเจาะจงขนใหวดงายขน โดยระบประเภทผลผลตทางการเกษตรทจะวด เลอกเอาเฉพาะผลผลตทสำาคญเทานน* ลบทขายไดในตลาดออกเพราะโครงการมงผลตผลทงหมดไมจำากดเฉพาะผลตผลทขายไดในทองตลาด

มการจดตงกลมการตลาดทดำาเนนการไดในหมบานทรวมโครงการอยางนอย 1 กลม

*จำานวนกลมการตลาดทเขมแขงและกอตงโดยเกษตรกรทเขาโครงการ

* แยกเปาหมาย “ 1 กลม” ออกจากตวชวด* ระบชดเจนวาใครกอตงกลม* ใชคำาเขมแขงแทนดำาเนนการได เพอใหวดไดชดเจนขน

8. บทบาทและความรบผดชอบ

24

ในเอกสารของ UNDP ไดกลาวถงบทบาทและความรบผดชอบของผบรหารโครงการ (Project Manager) ซงในอดตใหความสนใจกบการตดตามและประเมนผลการปฏบตการ (implementation process) แตปจจบน การบรหารทมงผลสมฤทธจะใหความสำาคญกบการวเคราะหและรายงานผล เนนรายละเอยดเกยวกบความเชอมโยงทผลผลตของโครงการ กลยทธความรวมมอกบพนธมตร รวมถง soft assistance มตอผลลพธของโครงการ นอกจากน สงทผบรหารโครงการตองทำามากกวาแตกอน คอปฏบตงานอยางใกลชดและเขมงวดในขนตอนการคดโครงการ วางรปแบบโครงการ กำาหนดเครองมอทจำาเปน และวางแผนการดำาเนนงาน เพอใหมนใจไดวาโครงการจะบรรลเปาหมาย

***********

สงทผบรหารโครงการพงทำาเพอบรรลผลสมฤทธ* มงผลมากกวาวธการ* กำาหนดใหชดเจนเกยวกบสงทคาดหวงจากการปฏบตงานและจดหมายทจะไปใหถง จากนนใหเปนหนาทของผปฏบต* วางแผนไวแตตนวาจะตดตามและประเมนผลอะไร อยางไร และเมอไร * สรางและใชตวชวด* วเคราะหสถานการณ ตดตามการเปลยนแปลงและสงทเกยวของกบการเปลยนแปลงนน * นำาเสนอขอคดเหนและขอเสนอแนะเพอการตดสนใจสำาหรบผบรหารระดบสง เชน นำาเสนอกลยทธใหมทเหมาะสมในเชงประสทธภาพและประสทธผล* กระตอรอรนทจะเรยนรทงจากความลมเหลวและความสำาเรจ* ทำางานรวมกบภาคพนธมตรใหใกลชดยงขน* ลงมอปฏบตรวมกบเจาหนาทโครงการและอธบายใหเหนถงความเชอมโยงระหวางผลผลต กลยทธ และการสนบสนนในรปแบบตางๆทจะนำาไปสผลลพธทตองการ* ชวยเหลอ สนบสนนเจาหนาททกฝายในหนวยงานทมสวนเกยวของกบผลสมฤทธของโครงการ

25