Métodos de Evaluación de Programas_Modelo_CIPP

Profesora Milagros Bravo Vick PhDEDUC 8030 UPR RP

Juan Capurro Gonzáles

Capítulo 4

EVALUACIEVALUACIÓN DE PROGRAMASN DE PROGRAMAS

Juan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

Objetivos de la Presentación

Describir los enfoques orientados al mejoramiento y la rendición de cuentas

Discutir los aportes de Daniel Stufflebeam en la temática de Evaluación de Programas

Explicar el método CIPP, sus fundamentos y potencialidades.

Discutir la relevancia de Evaluación de Programas en los diferentes campos en particular el educativo.

Presentar los beneficios y consideraciones acerca de Evaluación de Programas incluyendo una visión panorámica que interrelaciona las diferencias entre ellas.

Enfoques orientados al mejoramiento y la rendición de cuentas

Panorama de Evolución

De los diversos enfoques de evaluación ubicamos a estos por su interés principal:

Orientados a las Preguntas > Objetivos / Tyler

Orientados a los Métodos > Estrategia de inquirir

avalúo, estudio de casos

Orientados al Mejoramiento > Tomar decisiones / informada

seleccionar entre alternativas

Orientados a la participación Utilidad

y agenda social > apoderamiento


• Caracterizados y organizados para ofrecer información sobre las distintas etapas de los Programas y poder tomar decisiones racionales y oportunas sobre cada una de ellas.

• Los 3 principales modelos de esta categoría:

• Enfoque orientados a la toma de decisiones, identificando la información pertinente al usuario

• Enfoque orientado al consumidor, facilitándole información de programas en competencia y

• Enfoque orientado al peritaje profesional en procesos de acreditación (ej. Delphi, Blue Ribbon)

Enfoques orientados al mejoramiento y la rendicion de cuentas


• Énfasis en mejorar el programa facilitando información para la toma de decisiones organizacionales.

• Ofrecen al consumidor evaluaciones entre programas y servicios que compiten y lo ayudan a examinarlos mediante peritaje profesional

• El usuario principal de estos son los decisores y administradores de programas pero reporta utilidad a otros dado que el método es un acercamiento sistémico y ajusta la preguntas a las necesidades de información de quien la ejecuta.

Enfoques orientados al mejoramiento y la rendición de cuentas


• Identifica las partes en que se deben tomar decisiones• Se orienta a clarificar quien usara la información

evaluativa, el tipo y el momento pertinente.• Las preguntas corresponden a diversas facetas del

programa: ¿ Se han determinado apropiadamente las

necesidades de los beneficiarios del programa?¿ Cuáles son sus méritos y costos comparativos?¿ El personal está suficientemente cualificado?¿ Se han asignado roles apropiados a los participantes?

Las Fuentes de Information


Enfoques orientados a la toma de decisiones

• Daniel Stufflebeam (CIPP)• Su aporte fue diseñar en un solo marco de referencia 4

evaluaciones que corresponden a 4 fases del Programa:

C ontexto Planificación

I nsumo Estructural

P roceso Implantación

P roducto Retro-comunicación

• [email protected] ALKIN Marvin

• “[It is best] to generally adhere to a particular model that makes the most intellectual sense to [you]. … To have a defining structure: a basic model or theory that one adheres to but is potentially adaptable.” (Alkin, 2004, Evaluation Roots, x.)


mailto:[email protected]

Métodos orientados al mejoramiento

“Evaluation use (or evaluation utilization) refers to the way in which an evaluation and the information from the evaluation impacts the program that is being evaluated. … It is important to make clear that evaluation use can occur as a function of the evaluation process [process use] as well as due to its findings [findings use], and in both cases either conceptually, instrumentally, or symbolically / legitimatively. … An awareness of evaluation’s intended and unintended impacts is another defining characteristic of use.” (Alkin & Taut, 2003, Unbundling Evaluation Use, 2, 13.)


Incorrectos usos de la Evaluación

“We define the responsibility for evaluation misuse as resting with users, while the responsibility for misevaluation lies with evaluators. Another issue related to misuse is the difference between intentional and unintentional misuse.” (Alkin & Coyle, 1988, Thoughts on Evaluation Utilization, Misutilization and Non-utilization, 334.)

“Most of the evaluation ethics literature focuses on the practices and principles of the evaluator. Misutilization examines evaluation ethics through a different lens. Here, we consider the ethics of those using the evaluation, be it the commissioning of an evaluation, the evaluation process itself, or the evaluation findings.” (Christie & Alkin, 1999, Further Reflections on Evaluation Misutilization, 1.)


Enfoques orientados al consumidor y la rendición de cuentas

• Juzgan los meritos relativos, el valor de productos y servicios alternativos, de forma que el cliente pueda hacer decisiones racionales.

• Estos se desarrollaron en base a la alta disponibilidad de recursos en los 60’s, promueve la educación del consumidor

• La persona que hace la evaluación asume la posición de consumidor sustituto ilustrado.

• Los métodos de recopilación de datos: Listas de cotejo basados en criterios estrictos (consumer report)

• Komoski, el servicio independiente de revision de productos, y Stevens con CMAS (Sist de análisis de Materiales curriculares)


Evaluación orientada al peritaje

• Son los mas extendidos y antiguos y dependen del juicio “experto” de manera mayor que en los demás enfoques.

• Sistemas profesionales formales de revisión. Se usan en acreditaciones, estándares publicados, y su efecto sobre los programas evaluados es alta.

• Sistemas profesionales informales de revisión, como los Comités de Tesis, tienen cierta estructura pero no son estándares en propiedad.

• Paneles ad hoc, que no tienen ni estructura, ni estándares ni itinerario, pero incorporan opinión múltiple, sus miembros revisan los materiales individualmente y se reúnen para compartir percepciones.

• Revisiones individuales, similares a las anteriores pero es individual

• Enfoque de peritaje y critica educativa: Elliot Eissner (75), usa el arte, y Kelly (78) usa la literatura.


CIPP Flow/ Perfeccionar Programas

lJuan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

Fortalezas y Limitaciones CIPP

• Los programas no necesitan esperar a que unas actividades hayan sido implantadas para evaluarlas, demostraron la importancia de comenzar los procesos evaluativos desde que se empiezan a discutir ideas para desarrollar programas.

• Permite decidir con precisión que información debe ser recogida, la cual es esencial. Se focaliza en las necesidades y en las decisiones que han de tomar.

• Limita el alcance de la información pertinente a recoger al punto de vista del cliente o usuario de la evaluación.


Contribuciones más destacadas

• Identificación de necesidades y planteamientos de objetivos correspondientes.

• Consideración y evaluación de diseños de programas alternativos.

• Examen de la implantación de un programa.• Identificación de fallos en los programas.• Explicación de los resultados, a base de la implantación.• El examen de si las necesidades se han reducido.• Contribución al desarrollo de la meta evaluación.• Provisión de guías para meta evaluación.


Debilidades y Limitaciones

• Limita la habilidad de responder a los problemas que no sean inquietudes de las personas que toman decisiones.

• La preferencia que se le da a las gerencias, abre la posibilidad que evaluador se convierta en un emisario de la gerencia.

• Una limitación adicional de este enfoque, es que si se sigue en su totalidad puede llevar a evaluaciones muy costosas y complicadas, desviando recursos, que pudieran invertirse más eficazmente en el programa.

• Stufflebeam, señala que la colaboración entre la persona que evalúa y las partes interesadas sesga los resultados.


Calificación CIPP

• Recibieron una calificación general de “muy bueno”, en los estándares de utilidad, viabilidad y honestidad.

• Recibieron una calificación de “excelente” en certidumbre.

• Referencias:• Evaluación de Programas. Dra Milagros Bravo• Social Research Methodology at UCLA srm• http://www.gseis.ucla.edu/~srm/Alkin.html• CIPP Flow3.docm


http://www.gseis.ucla.edu/~srm/Alkin.html

Bibliografía

• Social Research Methodology at UCLA - [Citas previas] Marvin C. Alkin Professor Emeritus Education Evaluation Theory and Practice 3026 Moore Hall (310) 825-4800 [email protected]. Education ...www.gseis.ucla.edu/~srm/Alkin.html

• Marvin Alkin - Graduate School of Education and Information Studies- Alkin, M.C. and Hofstetter, C.H. (2002). Evaluation Use Revisited to be published in International Handbook of Educational Evaluation (D. Stufflebeam and T. … www.gseis.ucla.edu/faculty/members/alkin

• Marvin Alkin (UCLA) | EDUCAUSE Marvin Alkin (UCLA). Marvin Alkin. Professor, Education. UCLA. Los Angeles, California UNITED STATES. Membership Information. General Info. General Info ...www.educause.edu/Community/MemDir/Profiles/MarvinAlkin/75687

• http://aje.sagepub.com/cgi/content/abstract/24/2/213 • http://www.allenandunwin.com/default.aspx?page=94&book=9781741146769









http://www.gseis.ucla.edu/faculty/members/alkin







http://www.educause.edu/Community/MemDir/Profiles/MarvinAlkin/75687








http://aje.sagepub.com/cgi/content/abstract/24/2/213

http://www.allenandunwin.com/default.aspx?page=94&book=9781741146769



Profesora Milagros Bravo Vick PhDEDUC 8030 UPR RP

Juan Capurro Gonzáles

Capítulo 4

EVALUACIEVALUACIÓN DE PROGRAMASN DE PROGRAMAS