1
Evaluación de Programas
Planificación y diseño de la evaluación.
Dr. Jesús M. Jornet Meliá
Departamento de Métodos de Investigación y Diagnóstico en Educación
UNIVERSITAT DE VALÈNCIA
2
Estructura del Seminario
Conceptos básicos de Evaluación de Programas Componentes del diseño: las preguntas de la
evaluación Objeto de la evaluación Finalidad de la evaluación Audiencias o colectivos implicados Fuentes e instrumentos de información Momentos de recogida de información Análisis de la información Difusión de la información
3
Conceptos básicos de Evaluación de Programas
Qué es la Evaluación de Programas (I)
Es una especialización profesional que se identifica en diversas áreas (CC. Sociales, Humanas y de la Salud)
Su objetivo es recabar información para la toma de decisiones acerca de la intervención en esas áreas
En Educación su desarrollo ha sido muy profundo y afecta a la planificación, diseño y organización, innovación y control de la intervención educativa
4
Conceptos básicos de Evaluación de Programas
Qué es la Evaluación de Programas (II)
Es propia de países que tienen una gestión democrática
América, Europa y Australia son las áreas donde más impacto y uso está teniendo en la actualidad
Es base tanto para la rendición de cuentas, como para la innovación y mejora de la intervención
5
Conceptos básicos de Evaluación de Programas
Qué es la Evaluación de Programas (III)
Sinónimo de Investigación EvaluativaDiferente de:
Investigación Medición
Evaluación y Política
6
Concepto de Evaluación de Programas en Educación
Evaluación (Gem, 2001-2004):Proceso sistemático de indagación y comprensión de la realidad educativa que pretende la emisión de un juicio de valor sobre la misma, orientado a la toma de decisiones y la mejora.
7
Evaluación de Programas y otros conceptos
Sinónimo de Investigación EvaluativaDiferente de:
Investigación Medición
Evaluación y Política
8
Evaluación de Programas y otros conceptos: Investigación Evaluativa
Investigación EvaluativaEvaluar es tomar una decisión sobre la orientación y el desarrollo de una acción, a partir de criterios explícitos y consensuados, aplicados a una información completa, sistemática, verificable y pública.La investigación evaluativa, sin embargo, pretende comprender los resultados de la acción. No pretende tanto constatar un resultado, cuanto comprender la dinámica interna susceptible de explicar ese resultado.
Evaluación/Investigación Evaluativa: SINÓNIMOS
9
Evaluación de Programas y otros conceptos
Sinónimo de Investigación EvaluativaDiferente de:
Investigación Medición
Evaluación y Política
10
Evaluación de Programas y otros conceptos: Investigación
Investigación Básica Investigación Evaluativa
Finalidad
Buscar nuevos conocimientos que incrementen el cuerpo teórico de los fenómenos educativos (Anderson y Ball, 1983; Guttentag y Snaper, 1983; Weiss, 1983; Isaac, y Michael, 1984; De la Orden, 1985c).
Proporcionar información de inmediata puesta en práctica sin necesidad de ofrecer conocimientos generalizables
Punto de partida del proceso
Requiere la formulación clara y precisa de hipótesis como punto de partida
No requiere la formulación clara y precisa de hipótesis como punto de partida
Papel del investigador
El investigador es el que establece y selecciona el problema o las cuestiones que desea investigar
El investigador está subordinando a las demandas, problemas y cuestiones que otros necesitan
Criterios de validez de resultados
Se apoya en criterios de validez interna y externa (Campbell y Stanley, 1966) así como validez estadística y de constructo (Mark y Cook, 1984)
Además de apoyarse en criterios de validez debe ser: útil, comprensible, relevante y práctica (Patton, 1984)
Audiencia Los resultados se dirigen a una audiencia universal
Los resultados se dirigen a una audiencia particular
Implicación en el mundo de valores
Menos implicación Bastante o mucha implicación
Informe Utilizan un lenguaje que se ajusta más a las normas académicas que rigen la comunidad científica
Utilizan un lenguaje que debe ser siempre comprensible a quién se dirigen los resultados
11
Evaluación de Programas y otros conceptos: Medición
Medición: establecer la cantidad o extensión de algún fenómeno Evaluación: sustentar/emitir un juicio de valor aecrca de algún fenómeno
12
Qué es la Evaluación de Programas
Sinónimo de Investigación EvaluativaDiferente de:
Investigación Medición
Evaluación y Política
13
Evaluación de Programas y otros conceptos: Política
Evaluación y Política“La evaluación se inscribe dentro de la tradición científica. (...) Pero la ciencia es sólo parte de la historia y, diría, una parte subordinada. Si la evaluación no es primeramente una actividad científica, entonces, ¿qué es? Es primero y sobre todo una actividad política, una función práctica dentro de un sistema social” (Cronbach, 1977)
14
Evaluación de Programas y otros conceptos: Política
Sistemas de valores y creencias
Metapostulados de la ciencia dominantes
Ideología política dominante
Programadores sociales
PolíticosInvestigadores
Evaluadores de programas
Estado de la cienciaConceptos básicos
Estructura y sistemas de promociónde la investigación aplicada
Sistema políticoRecursos económicos
Relaciones entre ciencia y política en evaluación de programas (tomado de Fernández Ballesteros, 1987)
15
Cómo surge la Evaluación de Programas en Educación
Etapa del inicio. Siglos XVII y XVIIIEtapa de la Reforma. Siglo XIXEtapa de los tests. 1900-1929Etapa tyleriana (1930-1945).Etapa de la inocencia (1945-1957).Etapa de la expansión (1957-1972).Etapa de la profesionalización (1973-1980)La situación actual.
Breve sinopsis
16
Cómo surge la Evaluación de Programas en Educación
Evolución del concepto de evaluación educativa.
Evoluciona hacia una concepción más global del rendimiento educativo, y su evaluación
Evaluación de
Aprendizajes Evoluciona hacia una
concepción más diversificada de los
objetos y los métodos de evaluación
Evaluación de
Programas
Evaluación Educativa
Popham (1980), De la Orden (1982),Salmerón (1997), Casanova (1999), Jiménez (1999), Mateo (2000a), Gómez i Serra (2000), Pérez Juste (2000a, b) Jornet (2001) y el Tesauro de Evaluación (Scriven, 1991).
17
Qué áreas atiende (I)
Informal
So-cial
Individual
No-Formal
Programas Socio-educativosEnfoque Político
Instituciones
Formal
Sistema Educativo
Instituciones
Aula Acciones Formativas
Situación educativa:Escenarios
18
Qué áreas atiende (II)
La Educación actúa mediante Programas
(Intervenciones orientadas a un fin/meta educativa)
Diverso grado de formalizaciónComponentes de un Programa: Medios y recursos materiales y humanos, concreción del diseño de actuación y metodología, objetivos, etc…
19
Qué áreas atiende (III)
Unidades de Evaluación:
Actores de la Educación (las personas)OrganizacionesElementos Materiales
20
Qué áreas atiende (IV)
Actores de la Educación:las Personas
Alumnos/as Profesores/asAgentes de la Educación
21
Qué áreas atiende (V)
Organizaciones Educativas
Sistemas Educativos Instituciones Educativas
Agrupaciones organizativas
22
Qué áreas atiende (VI)
Elementos Formales de Materialización de la Intervención
Educativa
Proyectos Diseños Curriculares
ProgramasMateriales
23
Componentes del diseño: las preguntas de la evaluación (I)
La Planificación de la Evaluación constituirá la adaptación del Plan de Evaluación a la realidad que pretende evaluar, anticipando, en la medida de lo posible, todos los componentes que estarán presentes en la situación evaluativa.
Objetivo de la Planificación: asegurar la validez y utilidad de la Evaluación.
24
Componentes del diseño: las preguntas de la evaluación (II)
Objeto de la evaluación
¿Qué se evalúa?
Finalidad de la evaluación
¿Para qué se evalúa?
¿Quién orienta o encarga la evaluación? ¿Quién realiza la Evaluación?
Audiencias o colectivos implicados
¿Qué audiencias están implicadas?
25
Componentes del diseño: las preguntas de la evaluación (III)
¿Qué información se requiere? ¿A quién se le demanda información?
Fuentes e Instrumentos de
Información ¿Cómo se recoge la información?
Momentos de recogida de información
¿Cuando se recoge la información?
Análisis de la información
¿Cómo se analiza y sintetiza la información? ¿Quién tiene derecho de acceso a la información? Difusión de la
Información ¿Cómo se elaboran los informes de evaluación?
26
Definición del Objeto de Evaluación¿Qué se evalúa? (I)
Se trata de identificar las características del Objeto a Evaluar.
Referencias:1. Concepto de Calidad2. Elementos para operativizar el concepto:
Los objetivos y consecuencias de la formación. Las unidades de análisis: el sujeto, el servicio o el programa. Las tipologías de formación. La definición de efectos a evaluar: eficacia, eficiencia,
funcionalidad
27
Definición del Objeto de Evaluación¿Qué se evalúa? (II)
Calidad del Servicio Calidad del Programa Objetivo de análisis
Bondad estructural y funcional de los Programas de Formación
Grado en que se han conseguido los objetivos del Programa
Clave Análisis del Proceso educativo
Análisis del Impacto
Indicador Adecuación de los diferentes elementos implicados en las Acciones Formativas (infraestructuras, medios y materiales, …)
Nivel de inserción para diferentes cortes temporales (corto, medio, largo plazo)
Fuentes Opiniones de los “clientes” (alumnos y empleadores)
Bases estadísticas de datos
Dificultad técnica
Operativizar el concepto de calidad del proceso educativo
Seguimiento individual a medio y largo plazo de los alumnos. Diseño cuasiexperimental
Características delos enfoques deCalidad de Servicioy del Programa(Perales, 2002)
28
La definición de efectos a evaluarEficacia: grado de consecución de objetivos. ( C B)Eficiencia: grado en que se optimizan los recursos en la consecución de objetivos. ((E,D) B)Funcionalidad: adecuación de todo el proceso a las necesidades, aspiraciones y expectativas sociales.((E,D,C,B) A)
Contexto sociocultural y económico de la
Educación A
Necesidades, aspiraciones y expectativas sociales a que debe responder la educación/institución
escolar B
Metas y objetivos de la Educación C
Productos educativos Aprendizajes y equipamiento intelectual de los
estudiantes D
Procesos Organizativos Curriculares Instructivos Investigadores Evaluativos
Directivos y de liderazgo Administrativos y gerenciales Recursos humanos Recursos económicos Recursos materiales
E Entradas al sistema escolar
Estudiantes: Número y características Profesores: Número y características
Recursos asignados
Modelo sistémico deArturo De la Orden
Efectos a evaluar:Eficacia Eficiencia Funcionalidad
29
Finalidad de la Evaluación
¿Para qué se evalúa? (I)
Se trata de determinar el uso de la Evaluación (Scriven, 1967):¿Identificar aspectos a Mejorar en un Programa o Calificarlo? Evaluación Formativa Evaluación Sumativa Objetivo último Mejorar el programa de
formación Determinar el nivel de calidad de un programa
Indicadores Descripción de los procesos de formación, de un modo concreto, pormenorizado y comprensivo.
Resumen sintético del programa
Uso en FPO Procesos de autoevaluación para la mejora
Evaluaciones de orientación político-administrativa (ev. macroestructural)
Otras finalidades vinculadas
1. Mejora de la eficacia 2. Mejora de la eficiencia
3. Demostración de responsabilidad institucional
4. Demostración del valor/ utilidad del programa
5. Planificación de oferta formativa
30
Identificar las audiencias implicadas(I)Concepto de Audiencia
Weiss (1984), incluye:
“tanto los miembros de los grupos que están palpablemente afectados por el programa y que, por tanto, estarán supuestamente afectados por las conclusiones evaluativas, como aquellos miembros de los grupos que toman decisiones en relación con el futuro del programa, tales como continuar o no con la financiación, o que pueden alterar el programa”.
31
Identificar las audiencias implicadas(II)Cuestiones implicadas
¿Quién orienta o encarga la
evaluación?
Identificar el grado y tipo de responsabilidad política y administrativa de quien encarga la evaluación.
¿Quién realiza la Evaluación?
Identificar quién va a ser el responsable de llevar a cabo el proceso de evaluación.
¿Qué audiencias están
implicadas?
Identificar los actores del proceso que se va a evaluar para definir su rol en el Plan de Evaluación.
32
Identificar las audiencias implicadas(III)¿Quién orienta o encarga la Evaluación?
Identificar las expectativas del cliente ayuda a ajustar mejor el plan de evaluación (finalidad, consecuencias, usos…)
Negociación y contrato de la evaluación
33
Identificar las audiencias implicadas(IV)¿Quién realiza la Evaluación? (II)
Se trata de identificar quién va a ser el responsable de la Evaluación
Afecta a la Credibilidad y al Coste de la Evaluación
Opciones:
Atención: “Externo o Interno” debe identificarse como un rol respecto del Programa
Evaluado
Evaluación Externa vs. Evaluación Interna…¿o bien,Mixta?
34
Identificar las audiencias implicadas(V)¿Qué audiencias están implicadas? (III)
Alumnos. Como sujetos de la Formación. Profesores, tanto de actividades teóricas como prácticas,
como agentes directos de la Formación. Orientadores (Profesionales y Ocupacionales), como
facilitadores de la integración socio-laboral. Coordinadores de Formación y/o Directores de
Organizaciones dedicadas a la formación, como responsables de la misma.
Empleadores, como receptores del producto formativo o como proveedores del capital que hace posible la formación.
Instituciones Públicas y/o Privadas, que proveen fondos de formación.
Sociedad, como receptora última del producto formativo o como subvencionadora de estos programas.
35
Fuentes e instrumentos de recogida de información (I)
Cuestiones implicadas
¿Qué información se
requiere?
Identificar cuál es la información verdaderamente relevante para el proceso evaluativo.
¿A quién se le demanda
información?
Identificar quién puede aportar la información relevante.
¿Cómo se recoge la
información?
Decidir acerca de la Técnica Evaluativa o Instrumento de Medida más adecuado para llevar a cabo la recogida de información.
36
Fuentes e instrumentos de recogida de información (II)
¿Qué información se requiere? Se trata de identificar cuál es la información relevante y de
calidad para la evaluación La información requerida debe cumplir dos requisitos
fundamentales:Pertinencia / relevanciaEvaluabilidad
Tipos de información: DescriptivaExplicativa
37
Fuentes e instrumentos de recogida de información (III)
Estrategia de selección de información
¿Qué información es relevante según la finalidad y el objeto de la evaluación?
¿Qué papel juega cada información?
¿Es evaluable?
¿Es fiable y válida?
¿Podemos interpretarla?
ContextoEntradaProcesoProducto
38
Fuentes e instrumentos de recogida de información (IV)
Variables e Indicadores Las informaciones a considerar son llamadas
variables, dado que son aspectos de la realidad que pueden adoptar distintos valores, que varían
Un Indicador es un dato o resultado susceptible de una interpretación inequívoca o normalizada, que informa del estado o evolución de algún fenómeno
Cuatro tipos de variables o indicadores, según su rol en el Plan de Evaluación
39
Fuentes e instrumentos de recogida de información (V)
Clasificación de información
Adaptado a partir del Modelo CIPP deSttuflebeam y otros (1971)
Variables / Indicadores Contextuales son aquellos que
nos pueden ayudar a modular la interpretación de la Evaluación del Programa teniendo en cuenta la situación en que se inserta
Variables / Indicadores de Entrada (Input) son los referidos a los medios con que se cuenta para el desarrollo del Programa, tanto medios materiales como personales
Variables/ Indicadores de Proceso son los relativos al “Cómo se produce la Formación”, es decir, todas las implicadas en el desarrollo del Programa
Variables / Indicadores de Producto -o Resultados de la Formación- son aquellos que pueden poner de manifiesto el logro de objetivos del programa
40
Fuentes e instrumentos de recogida de información (VI)
Tabla de selección de información
Rol / tipo Variable / indicador
¿Es evaluable?
¿Podemos interpretarla?
¿Es fiable y válida?
Desarrollo tecnológico… Si Si Si
Oferta de formación Si Si Si Contexto
… Infraestructura Puestos para prácticas
Nº Alumnos Entrada
… Proceso … Producto …
41
Fuentes e instrumentos de recogida de información (VII)
¿A quién se le pide información?
¿Quién puede aportar la información requerida de una manera más fiable y válida?
AlumnosProfesoresResponsables de formaciónSupervisores
¿Existe más de una posibilidad?
¿Cuál es la más operativa?¿Interesa triangular fuentes?
¿Es factible el acceso a la información?
SI
¿El banco está actualizado?¿Hacen falta permisos especiales para acceder?
¿Puede haber perturbaciones en el programa de formación?
Bancos de datos
42
Fuentes e instrumentos de recogida de información (VIII)
Tabla de fuentes de informaciónSíntesis de variables/indicadores y fuentes de
información. Fuentes de información
Tip
o
Variables / Indicadores
Alu
mnos
Pro
feso
res
Coo
rdin
ador
Obse
rvad
or
Exte
rno
Otr
as fuen
tes
Características de alumnos X X X Características de los profesores
X X
Sistema de selección de alumnos X Infraestructura (aulas teóricas, prácticas…) X X X X En
trad
a
Medios disponibles en las aulas X X X
Actuación del Profesorado X X X
Nº de sesiones teóricas X X
X X X
Metodología didáctica X
Proc
eso
… … …
Producto … … …
Contexto … … …
43
Fuentes e instrumentos de recogida de información (IX)
¿Cómo se recoge la información? Tipos de instrumentos, según el grado de estandarización:
Instrumentos de Medida: pruebas de rendimiento/capacitación, y buena parte de los Cuestionarios o Escalas de Opinión.
Técnicas Evaluativas: Entrevista, Auto-informes, Registros Observacionales.
Criterios de selección de instrumentos:Adecuación al tipo de información a recogerCriterios técnico-metodológicos, y Oportunidad (la logística de la evaluación)
44
Momentos de recogida de información ¿Cuándo se recoge información?
Considerando: El tipo de información (contexto, entrada, proceso, producto) La fuente e instrumento más adecuados La logística de la evaluación
Es necesario decidir para cada información
¿Cuántas medidas debemos recabar?
Medida única
Medidas repetidas
¿Cuándo se deben establecer?
Antes del Programa
¿Es conveniente adoptar esos momentos para la evaluación?
¿Es conveniente introducir otros momentos?
¿Cuáles son los momentos más adecuados?
A la finalización del Programa
Corto plazo Medio plazo Largo plazo
SI
NO
Durante su realización. ¿Existe una estructura que determine los momentos?
¿Una o varias medidas?
¿Cuándo se ha de medir el producto o impacto del Programa?
Momentos: Previo, Inicio, Durante, Final y Después del programa.
(Pérez Carbonell, 1998)
45
Análisis de la información
¿Cómo se analiza y sintetiza la información?Del Análisis de Datos depende una correcta interpretación de la EvaluaciónLa estructura inicial del Análisis de Datos deviene del Diseño de la EvaluaciónTipos de AnálisisAnálisis cuantitativo:
El Análisis Exploratorio de Datos (AED) es una fase crucial en el Análisis: de él depende buena parte de la selección de técnicas a
aplicarEl Análisis Confirmatorio de Datos (ACD) está orientado a
determinar los efectos del Programa y a explicar los niveles observados en la Evaluación
Análisis cualitativo de datosRecomendacionesEl Análisis de Datos es una tarea dinámica, que debe ir reajustándose a la vista de los resultadosHay que ser muy preciso y claro al explicar los análisis realizados
46
Difusión de la información (I)
¿Quién tiene derecho de acceso a la
información?
Identificar los actores del proceso objeto de evaluación que tienen derecho a información.
¿Cómo se elaboran los informes de evaluación?
Identificar qué informes deben realizarse y ajustar su formato de acuerdo a las características de la Audiencia a que se dirigen.
47
Difusión de la información(II)¿Quién tiene derecho de acceso a la
información?
Dar información es básico para que la Evaluación sea creíble y útil
Como principio general puede asumirse que todo aquél que esté implicado en el proceso, bien porque es evaluado -directa o indirectamente al evaluar el Programa de Formación-, bien porque está implicado como fuente de información tiene derecho a conocer resultados, los que le afectan directamente o los que le pueden ser útiles para sus decisiones acerca del Programa.
Es conveniente recoger en el Contrato de Evaluación las responsabilidades en cuanto a la Custodia y usos posteriores de los resultados
48
Difusión de la información(III)
¿Cómo se elaboran los informes de evaluación? Informes a realizar:Informe Global en el que se incluyan todos los elementos implicados en la EvaluaciónInformes específicos por audiencias
Recomendaciones:Contextualización de la Información y claridad son dos principios básicos para elaborar los Informes de EvaluaciónDebe incluirse una Síntesis y Recomendaciones en los InformesLos informes destinados a cada colectivo específico incluirán sólo la información que pueda interesarles o afectarles, adaptando el lenguaje y sistema de exposición a sus características
49
Difusión de la información(IV)¿Cómo se elaboran los informes de evaluación?
Aspectos a tener en cuenta en el Informe Global:¿Se ha incluido una presentación Metodológica?¿Se reseñan todos los componentes de Planificación de la Evaluación?¿Se incluyen todos los resultados?¿El lenguaje es claro y preciso?¿Se han desarrollado gráficos de apoyo?¿La información está bien contextualizada?¿Se realiza una síntesis adecuada?¿Se aportan recomendaciones?
50
Difusión de la información(V)¿Cómo se elaboran los informes de evaluación?
Aspectos a tener en cuenta en los informes específicos de cada audiencia:¿Se incluye la información de interés para la audiencia a que va dirigido?¿La información está contextualizada?¿El lenguaje se ajusta al nivel de la audiencia?¿En suma, es representativo de los resultados completos?
51
¿Cómo utilizar los resultados de la Evaluación?
Utilidad, para el cliente y los distintos implicadosJusticia. Representación justa de la calidad del programaEquidad. Garantía de igualdad de opotunidades y el tratamiento diferencial, evitando sesgos.
52
Muchas gracias por su atención