Evaluación de Impacto de la Formación [... de  los profesionales de la salud]: elementos para  una aproximación.

APROXIMACIÓN: EL CONTEXTO

Estamos hablando de

FORMACIÓN

‐Calidad

‐Evaluación de  políticas públicas

SECTOR  SALUD

conocimiento

Personas/profesionales Organización

Capacidades

Potencial de      la organización

Legitimidad Social Sistema

Finalidad de la  Formación

Evaluación de Impacto de la Formación [de los profesionales de la salud]: elementos para una aproximación.

En un entorno de cambio, de transición ... [políticas públicas – formación]

Visión INPUT

duraciónTipometodologíalugar programa... 

Visión OUTCOME/OUTPUT

Expectativa de nuevo comportamiento del profesional y de resultados: Qué hacía, que hace, para qué ha valido, como se benefician los destinatarios de la actividad del profesional

Transparencia

Medida

Comparabilidad                 Calidad 

Responsabilidad social

Nuevo paradigma formación/entrenamiento de profesionales

Tecnología

Autoaprendizaje

Conocimiento abierto

Iniciativa del profesional

Necesidad del grupo/necesidad profesional

Gestión del cambio en el modelo de formación

Los sistemas sanitarios estarán en las mejores en condiciones si cuentan con los profesionales sanitarios adecuados con un acervo competencial apropiado

Medir impacto: medir resultados

[en el marco de  procesos y de organizaciones]

IMPACTO: PARTE DE INFLUENCIA DE UNA  INTERVENCIÓN

SOBRE LOS EFECTOS

ESPERADOS (Sanches A, 2005)

Evaluación de impacto

PROCESO orientado a medir los resultados

[efectos en los puestos  de trabajo

y en la organización

generados] (cambios y causas) por 

las ACCIONES FORMATIVAS desarrolladas en el escenario socioprofesional

originario de las mismas al cabo del tiempo

(Tejada)

Modelo de gestión de la formación que lo permita

No punitivo >>>

Prescriptivo y de mejora continua.

Satisfacción de los profesionales

Valor añadido de la organización

Mejora de la práctica profesional

Mejora de la la organización 

ESCENARIO SOCIOPROFESIONALESCENARIO SOCIOPROFESIONAL

Funcionamiento de la institución tras el

proceso de formación

Funcionamiento de la institución tras el

proceso de formación

Puesto de trabajoPuesto de trabajo

mejora

SITUACIÓN PREVIA A LA FORMACIÓN

SITUACIÓN FINAL A LA FORMACIÓN

DESARROLLO DEL PROGRAMA

SITUACIÓN PREVIA A LA FORMACIÓN

SITUACIÓN FINAL A LA FORMACIÓN

DESARROLLO DEL PROGRAMA

SITUACIÓN PREVIA A LA FORMACIÓN

SITUACIÓN FINAL A LA FORMACIÓN

DESARROLLO DEL PROGRAMA

SITUACIÓN PREVIA A LA FORMACIÓN

SITUACIÓN FINAL A LA FORMACIÓN

DESARROLLO DEL PROGRAMA

EVALUACIEVALUACIÓÓNN

MODELO HOLISTICO  (Fuente: Tejada 2012)

Finalización de la acción formativa

Finalización de la acción formativa

Evaluación de la

EFICACIA

SUFICIENCIA

SATISFACTORIEDA

D

TRANSFERENCIA“de lo aprendido”

•Permanencia y consistencia cambios

•Mejora prácticas profesionales

•Cambios institucionales

EFECTIVIDAD

La atribución en las  evaluaciones de 

impacto: la distancia

Precisiones metodológicas

A)

Actuaciones individuales

[personas]

B)

actividades institucionales

[instituciones]

C)

Desarrollo del sector – efectos en la

[sociedad]

Dificultades metodolDificultades metodolóógicas especgicas especííficas ficas ((bruma metodolbruma metodolóógicagica))

El problema es determinar en qué medida la acción formativa ha podido contribuir a que se produzcan esos beneficios observados y en qué medida.

Entre más lejanos los efectos, mayores niveles de incertidumbre respecto a los vínculos de causalidad (vínculos causa-efectos)

Influencia de N factores, muchos ajenos a la acción formativa. ATRIBUCIÓN.

Red de resultadosResultado directo

objetivo

Utilizació n

Prestación

Actividade s

Aporte aleman Aporte de los parteneres

Resultado indirecto

Brecha de atribución

¿Como se presenta la realidad?

Carmen Pérez Samaniego Orientación a resultados en la GTZ. EASP 2009

La formación es un factor importante  para la obtención de resultados, pero no 

el único

Interacciones con Efecto multiplicativo

MILLER (1990) Cuatro niveles de competencias influidos por la formación:

‐Conocimientos, habilidades, actitudes

> para el  desarrollo de la actividad profesional con eficacia

‐Capacidad para saber

cómo usar

estas  competencias

‐Demostrar cómo se utilizan

las competencias

‐Probar que la competencia se ha incorporado a  la práctica profesional 

BARBIER (1993) Modelo de evaluación: tres fases

‐

Determinación de objetivos definidos

en función de las  capacidades individuales

‐Construcción de los mecanismos

que conducen a la  adquisición de las destrezas

‐Evaluación

del proceso pedagógico

KIRKPATRICK (1993) Cuatro niveles: 

‐Reacción

de los participantes ante la formación‐Aprendizaje

percibido & competencias adquiridas

‐

Transferencia : Conducta de los participantes en el  puesto de trabajo

‐ Resultados

en la organización. 

PHILIPSMedición del impacto 

económico de la formacion:  Metodología ROI

WADEAnálisis Coste Beneficio

MODELO PRIME© Modelo de evaluación: tres fases

‐

Predictor

de éxito de FC de los profesionales de la salud:  evaluación inicial de las necesidades del alumnado 

Competencias actuales  & desempeño

[donde estamos]

Criterios de la  organización en cuanto 

a calidad y resultados  en salud

[donde queremos ir]

MODELO PRIME©

Fuente: Greene L, Prostko ChR. Educational Needs Assessment, Activity Development, and Outcomes Assessment at PRIME®: Applications of Established Conceptual Frameworksand Principles of Adult Learning, PRIME®

Education Inc., 2010

MODELO HOLTON 1996

Modelo generalista. Resultados

desarrollo de los profesionales

Capacidad del profesional

Motivación

Influencias ambientales

resultad

os

Aprendizaje

Desempeño individual

Desempeño  organizacional

MODELO HOLTON 1996

Grafico holton

La transferencia de la formación (Holton,  1996)

APRENDIZAJE ACTUACIÓN

INDIVIDUAL

RESULTADOS 

ORGANIZACIONALESResultados

Elementos motivacionales

Motivación paratransferir

UtilidadEsperada/ROI

Motivación paraaprender

Elementos del entorno

Clima detransferencia

Eventos externos

Reacción

Influenciassecundarias

Actitudespara el trabajo

Cumplimiento dela intervención

Características dela personalidad

Preparación parala intervención

HabilidadesElementos permitidos

Habilidades Diseño de latransferencia

Acoplamiento objetivos de la organización 

Fuente: Tejada 2012

Influencias motivacionales en la efectividad (NOE 1996) [Fuente: Tejada 2012]

Favorecimiento del ambiente•Social

•De las tareas

Favorecimiento del ambiente•Social

•De las tareas

Motivación para aprender

Actitudes hacia la carrera/lugar de trabajo•orientación

•Implicación en el puesto de trabajo

Actitudes hacia la carrera/lugar de trabajo•orientación

•Implicación en el puesto de trabajo

Locus of control

Reacción sobre laevaluación de competencias

Feedback

Claves del impacto de la formación

Expectativas de autoeficacia

Reacción sobrela formación

Reacción sobrela formación

Aprendizaje ResultadosCambio en el comportamiento

Motivación para transferir

Motivación para transferir

Modelo de transferencia de la formación:THAYER Y  TEACHOUT, 1995 (Fuente Tejada 2012))

Satisfacción durante la formación

aprendizaje

Condicionantes de la transferenciaANTECEDENTES CONSECUENTES•Objetivos Refuerzo positivo•Indicadores sociales Refuerzo negativo

•Indicadores tarea/ CastigoExtinción

Condicionantes de la transferenciaANTECEDENTES CONSECUENTES•Objetivos Refuerzo positivo•Indicadores sociales Refuerzo negativo

•Indicadores tarea/ CastigoExtinción

transferenciaLocus of control

Relaciones laborales

Recursospersonales

Conocimientoshabilidades previas)Auoteficacia(pre formación)

Satisfacciónprevia a laformación

Actitudes hacia lacarrera y el trabajo

MEJORA DE LAS ACTIVIDADES DETRANSFERENCIA DURANTE LA FORMACIÓN

MEJORA DE LAS ACTIVIDADES DETRANSFERENCIA DURANTE LA FORMACIÓN

Autoeficacia(postformación)

Autoeficacia(postformación)

resultados

MODELO ADERITO SANCHES 

GraficO

ISHIKAUA

Garantizar la calidad de la formación

Necesidades de

formación/contextos

Procesos de planificación y 

ejecución de la formación

SATISFACCIÓN APRENDIZAJEDESEMPEÑOAPRENDIZAJE

MEJORA 

INSTITUCIONAL(IMPACTO)

RESULTADOS 

EN LA 

SOCIEDAD(SALUD)

EVALUACIÓN CENTRADA EN EL  INDIVIDUO (PROFESIONAL)

EVALUACIÓN CENTRADA  EN LA ORGANIZACIÓN

Modelos de calidad de la FormaciónPROCESO DE EVALUACION 

COMPLETO

SATISFACCION

APRENDIZAJE

TRANSFERENCIA 

IMPACTO

‐Efectos a largo plazo, positivos y negativos, intencionados o no

intencionados que provoca una intervención (AUSAID)

‐Objetivo: mejora en el diseño del programa y de la 

financiación/asignación de fondos [legitimación] permite seleccionar 

actividades eficaces.

‐Pone a prueba la validez de los enfoques utilizados, permite planificar 

desde el conocimiento de las relaciones de causalidad y habilita

la toma de 

decisiones. Favorece capacidades del personal implicado.

Claves del impacto de la formaciónVERTIENTES (Tejada 2012)

Eficacia:

Relación existente entre los  objetivos logrados y los objetivos 

programados

Eficiencia:

Relación existente entre los  objetivos logrados y los recursos 

empleados

Efectividad:

Consecución de los objetivos,  cambio de comportamiento a 

consecuencia de los aprendizajes  conseguidos y la consecución final de los 

resultados deseados por la organización  gracias a estos cambios

Pedagógica: verificar el proceso de  consecución de los objetivos para mejorar la 

propia formación

Social:

certificar la adquisición de 

aprendizajes de los participantes en la 

formación

Económica: identificar los beneficios y  rentabilidad que la formación genera en la 

organización

Modelos de calidad de la Formación

PROCESO DE EVALUACION  COMPLETO

SATISFACCION

APRENDIZAJE

TRANSFERENCIA

IMPACTO‐Diseño e implementación no es sencilla. 

‐ Dificultades para encontrar grupos comparativos

‐ Complejidad técnica, larga duración

•Dificultades de medida

•Falta de recursos

•Falta de “know-how”

•Falta de preparación de los profesionales de la formación Continua

•Existencia de un clima humano contrario a la innovación-evaluación

•Falta de apoyo de los órganos directivos

•Falta de compromiso institucional

•Diseños inapropiados de acciones formativas

•Falta de cultura evaluativa

Experiencias en Andalucía

El modelo (SIMBASE)

Modelo de evaluación de impacto para intervenciones de formación basadas en la simulación.

Enfoque Procesos

Aborda la evaluación desde un enfoqueproceso que contempla todo el proceso formativo: identificación de necesidades, efectos a largo plazo sobre la actuación indivual, actuaciones institucionales ...

Modelo en un contexto   

ORGANIZATIVO.

Evaluación previa

HEFORPRIME®

Evaluación del impactoOITBILLAROUPRIME®

Brecha de 

atribución

Evaluación de la transferenciaHOLTONTEJADA PRIME®

Evaluación del 

aprendizaje

HEFORPRIME®

Lecciones 

aprendidas, 

evidencias de la 

evaluación y 

recomendaciones 

para la mejora

Desempeño en el 

puesto de trabajo

Resultados en 

el SSPA

Mod

elo de

 Formación de

 Especialistas en

 Ciencias de

 la salud

. Plan de

 gestió

n de

 la Calidad

Seguimiento

Evaluación de la calidadACSA - EFQMISO/IEC 19796-1ANECA – AGAE - GPDICECAD

Diseño de 

actividades y  

recursos

Planificación de 

la formación

Evaluación de la 

satisfacciónCECADUNE 66181PRIME® Ejecución de la 

formación

Resultados de 

aprendizaje en el 

individuo