Marbella, 21 de febrero de 2013

La Evaluación del Impacto de la formación

Formación continuada: ¿un medio o un fin?

Formación continuada: un medio

Responder a las necesidades de los profesionales para que puedan prestar una

atención excelente a la salud de la ciudadanía

¿Cómo podemos garantizar la utilidad de la formación que desarrollamos?

Resultados de acreditación de actividades y programas de formación

Estándares PorcentajeLos instrumentos que se describen o se adjuntan para evaluar la satisfacción son coherentes con la modalidad y tipo de formación a la que pertenecen.

98,39

Se adjuntan o se describen detalladamente los instrumentos para valorar la satisfacción del docente/ponente/tutor.

69,86

Existen procedimientos de recogida de información sobre la adquisición de conocimientos y/o habilidades procedimentales, mediante herramientas de evaluación y/o recogida de los acuerdos de actuación (protocolos, guías, etc.) derivados del desarrollo de la actividad

62,35

Las herramientas o procedimientos para evaluar la transferencia permitirán obtener información sobre la aplicabilidad del aprendizaje en el puesto de trabajo

8,25

Los indicadores de impacto aportan información sobre los cambios producidos en el contexto asistencial y/u organizativo.

3,88

Existen criterios de evaluación de la transferencia del aprendizaje que permitirán establecer niveles de adquisición de competencias (impacto en la conducta profesional)

2,81

Resultados de acreditación de actividades y programas de formación

ALGUNAS CUESTIONES

Pineda habla de las repercusiones que la realización de unas acciones formativas conllevan para la organización, en términos de respuesta a las necesidades de formación, de resolución de problemas y de contribución al alcance de los objetivos estratégicos que la organización tiene planteados

Veredas (se refiere al aumento de la competitividad de las empresas y la mejora de la situación laboral de los trabajadores (efectos deseados indirectos) y también de otros posibles efectos no buscados que pudieran registrarse.

Garzón lo vincula al mejoramiento de procesos y productos al crecimiento personal y colectivo , a la aplicación de los conocimientos al puesto de trabajo, satisfacción de necesidades organizacionales y sociales, y rendimientos de la inversión.

¿Qué entendemos por impacto de la formación?

El modelo de Kirkpatrick

¿Qué entendemos por impacto de la formación?

Homogeneizar el concepto

Efectividad de la formación realizada sobre el desarrollo de los profesionales y su incidencia en el logro de los objetivos de la organización (de funcionamiento, económicos, asistenciales, etc.)

Detección objetiva de la necesidad formativa. Identificación de resultados de aprendizaje de aplicación directa a la práctica profesional. Elección de las técnicas adecuadas. Evaluación de la práctica profesional (transferencia). Comparación de los resultados de la evaluación de la práctica profesional con el diagnóstico inicial.

Evaluación del impacto: un proceso

Principales “errores”

• Ausencia o escasa definición del diagnóstico inicial de manera objetiva.• Vaga definición de los objetivos generales o excesivamente ambiciosos.• Objetivos específicos no centrados en la práctica profesional.• No situar al destinatario como protagonista de su proceso de capacitación

¿es importante/necesario evaluar el impacto?, ¿para qué?

Si el propósito de la formación continuada es favorecer la adquisición, desarrollo o fortalecimiento de las competencias de los profesionales en su puesto de trabajo, debería ser importante saber si efectivamente se ha producido esa mejora.

Si la competencia es la capacidad para hacer, conocer la opinión de los participantes sobre el desarrollo de una actividad, nos permitirá evaluar la calidad de su diseño o de la planificación, pero no si se ha adquirido o mejorado esa capacidad.

Evaluar los conocimientos adquiridos nos informará de si el alumnado sabe más que antes, pero no si ha incrementado su capacidad de llevarlo a la práctica.

No evaluar el impacto no significa que no lo haya, sino que lo desconocemos y no nos permite tomar decisiones para facilitar la mejora del profesional en su desarrollo.

¿qué aspectos analizar?, ¿qué efectos nos interesan?

el aislamiento de variables y la concreción de los aspectos de análisis o variables identificadas.

la dificultad de acceso a determinadas informaciones necesarias de la organización, la falta de apoyo de los directivos y responsables, o la falta de medios para poner en práctica las habilidades adquiridas, las exigencias del trabajo diario, etc.

identificar quién o quiénes deben realizar la evaluación.

cómo hacer una medición objetiva de la transferencia.

…

Principales dificultades

¿se puede evaluar siempre?, ¿de qué depende?

• De los objetivos de aprendizaje. Si no van destinados a la capacitación en la práctica profesional, no será posible.

• De las técnicas didácticas empleadas. Si no van encaminadas a, por lo menos, simular la práctica profesional, no será posible.

• De los destinatarios. Si el alumnado no tienen la posibilidad de transferir el aprendizaje a la práctica profesional, no será posible.

• De la implicación de otros agentes de la organización.

• De la factibilidad, en términos de coste-beneficio.

Es probable que casi todas las actividades formativas, si están bien diseñadas, generen impacto, pero no siempre es posible medirlo objetivamente.

Objetivos CURSO TALLER SEMINARIO SIMPOSIO

SESIÓN CLÍNICA

JORNADA CONGRESO

Conocer o saber No No No No No

Saber cómo No No No

Simular un hacer

No No

Hacer Sí Sí

Si el enfoque es un programa de capacitación/implantación siempre es posible evaluar la transferencia y el impacto.

¿existen herramientas estandarizadas o generales?

Existen una gran variedad de modelos, donde la clave no está en el instrumento, sino en la metodología de evaluación, que ha de ser planificada desde el momento en que se define la necesidad. Definir la necesidad no es lo mismo que detectarla.

Modelo de Le Boterf: Ciclo Deming (PDCA) Corregir un fallo en la detección de la necesidad es más difícil que los que se producen el proceso formativo.

Enfoque de Inversión de Mamomar: Detección de las necesidades, especificando las competencias, (habilidades y conductas) y los indicadores previos y esperados.

Modelo de Barbier: evaluación a partir del perfil individual, basado en la adquisición de destrezas.

Modelo de Chang (IDEAMS): Identificar las necesidades y decidir si la formación puede mejorar el desempeño

Modelo de Cervaro y Rotter, de evaluación orientado a resultados de Jackson, el de Robinson & Robinsom, el de Ubillos, etc.

Los itinerarios formativos permiten dibujar la ruta de desarrollo de los profesionales, en relación a sus perfiles competenciales, que se van a traducir en programas formativos a la medida de cada profesional, teniendo en cuenta el nivel de capacitación o dominio previo.

ELABORAR ITINERARIOS FORMATIVOS PARTIENDO DE LOS MAPAS DE COMPETENCIAS QUE DEFINEN CADA PUESTO DE TRABAJO

Cómo se elaboran los itinerarios formativos

Partiendo del mapa de competencias, los itinerarios permiten organizar y secuenciar la formación, atendiendo a las rutas de desarrollo y a las necesidades establecidas en los planes.

1. Definición de puestos de trabajo (funciones, actividades, tareas y requerimientos), a través del mapa de competencias (competencias, prácticas concretas, requisitos e indicadores)

Puesto de trabajo: Responsable de UGC

Función: Optimizar la eficiencia de la actividad de su unidad, en términos de costes económicos y de esfuerzo.

Competencia: Capacidad para la gestión eficiente de los recursos disponibles

Tareas/BP: Realiza/r una gestión eficiente del tiempoLleva/r a cabo una administración adecuada de los recursos

económicos disponiblesAdministrar los recursos humanos bajo su responsabilidad bajo un

criterio de eficiencia.Gestiona/r los recursos materiales y de equipamiento……

Gestión eficiente de recursos

Hace un uso adecuado de los recursos económicos disponibles.

BásicoRealiza una valoración del presupuesto de su unidad en relación a la actividad asistencial de la misma

MedioMonitoriza periódicamente el presupuesto de la unidad

AltoDefine de forma continua las actividades y actuaciones de sus profesionales para que sean más eficientes

Muy altoEstablece medidas correctoras en la desviaciones presupuestarias tras una valoración de la adecuación de los recursos

Hace un uso eficiente del tiempo. BásicoTiene identificados los principales tiempos de respuesta para las actividades incluidas en su oferta de servicios sanitarios

Medio

Implementa circuitos internos (en su Unidad) y externos (en relación con otras Unidades) que hacen más eficiente la gestión de los procedimientos de su cartera de servicios.

AltoMonitoriza y autoevalúa los tiempos de respuesta y corrige o mejora las desviaciones

Muy alto

Evalúa las mejoras en relación a los tiempos de respuesta. Compara su gestión en el control de los plazos con Unidades similares e interioriza cambios que hacen más eficiente su gestión

2. Traducción del mapa de competencias en elementos formativos

Competencia Objetivo general de aprendizaje.

Buenas prácticas Objetivos específicos de aprendizaje.

Evidencias o requisitos: Resultados de aprendizaje

esperados (Contenidos)

Itinerario formativo para responsables de UGC

Ejemplo de la competencia Gestión eficiente de los recursos.

OBJETIVO GENERAL COMPETENCIA ASOCIADA

Llevar a cabo una gestión de los recursos disponibles que permita incrementar la eficiencia de la actividad en términos de costes económicos y de esfuerzo.

Gestión eficiente de los recursos disponibles (GCGR)

OBJETIVO ESPECÍFICO BUENAS PRÁCTICAS ASOCIADAS

GCGR.1. Optimizar los tiempos de respuesta en el desempeño de la actividad asistencial

Hace un uso eficiente del tiempo.

GCGR.2. Optimizar el uso de los recursos económicos disponibles para hacer más eficiente la gestión de la actividad asistencial.

Hace un uso adecuado de los recursos disponibles.

El logro de la totalidad de estos objetivos, que han de ser evaluables, debe tener como resultado la adquisición de la competencia en cuestión.

Traducir los requisitos o evidencias, en los resultados de aprendizaje que se esperan lograr con la puesta en marcha de los programas formativos, y de los que se extraen los contenidos.

Acciones concretas que el destinatario de la formación debe realizar en su práctica profesional.

Objetivos específicos

Nivel Nivel medio Nivel alto Nivel muy altoBásico

GCGR.1 Identificación de los principales tiempos de respuesta relacionados con la cartera de servicios y objetivos de los Acuerdos de gestión

Elaboración de circuitos de actuación y asignación de responsabilidades en aquellas actividades en las que intervienen tiempos de respuesta establecidos.

Análisis de los tiempos de respuesta y sus desviaciones.

Identificación de formulas de mayor resolución asistencial y organizativa para optimizar los tiempos establecidos.

GCGR.2 Identificación de indicadores de gestión del presupuesto

Detección y control de desviaciones presupuestarias. Análisis de costes directos de los servicios

Priorización de actuaciones de mejora para corregir desviaciones presupuestarias

Diseño de un sistema de seguimiento y monitorización de indicadores presupuestarios.

RESULTADOS DE APRENDIZAJE ESPERADOS

Incorporación de resultados de aprendizaje progresivo y evaluables, derivados de las evidencias asociadas a cada nivel de logro

Identificación de perfiles medios

A través de los perfiles medios, podemos identificar las buenas prácticas con mayor margen de mejora por colectivos, es decir con niveles bajos y medios, permite priorizar en aquellas buenas prácticas que generen más impacto.

Derivado de ello se identifican líneas estratégicas con mayor oportunidad de mejora.

Agrupación de competencias relacionadas, en módulos formativos para establecer programas a medida

Itinerario formativo para responsables de UGC

Selección del alumnado en base al PDILos criterios de selección del alumnado vienen identificados por los perfiles individuales, de manera que cada profesional debería recibir el contenido formativo asociado a su nivel de capacitación inicial para aquellas prácticas concretas que forman parte de su plan de desarrollo profesional.

Evaluación del impacto en el desarrollo individual

Evaluación del impacto en el desarrollo grupal

Evaluación del impacto en la organización

ASPECTOS A EVALUAR

CRITERIOS RESULTADOS ESPERADOS

QUIÉN EVALUA CÓMO CUÁNDO

Identificación de tiempos de respuesta relacionados con la cartera de servicios y objetivos de los Acuerdos de gestión

Existencia de documento con la identificaciónSI/NO

Al menos el 80% de las UGC los identifican

El 80% de los directores de UGC con nivel bajo en la BP asociada los identifican

Responsable asistencial

Ficha a cumplimentar por el responsable de la evaluación

3 meses tras la formación

Mejora del profesional en el desarrollo de la BP…

EDP Incremento de , al menos, un nivel en el X% de los destinatarios

Responsable de formación

Informes de necesidades anuales

Ciclo siguiente al desarrollo de la formación

Qué evaluar Indicador inicial Indicador final

Identificación de tiempos de respuesta relacionados con la cartera de servicios y objetivos de los Acuerdos de gestión

El 50% de las UGC no tienen identificados los tiempos de respuesta

Al menos el 80% de las UGC tienen identificados los tiempos de respuesta

Mejora del profesional en el desarrollo de la BP…

El 30% de los directores de UGC tienen un nivel medio en la BP…

Al menos el 60% de los directores de UGC (alumnos) han pasado a un nivel alto en la siguiente EDP

CONCLUSIONES Identificar la necesidad de mejora.

Decidir si puede mejorarse con formación

Definir de manera objetiva la necesidad formativa: a qué competencias y buenas prácticas está asociada la necesidad de mejora. Cuál es la situación inicial?

Qué resultados concretos se esperan lograr?

¿Son evaluables? Y si es así, qué aspectos específicos se evaluarán, quién debe recoger la información, de dónde, quién la analiza, etc

Marbella, 21 de febrero de 2013

Muchas graciasMayte Periáñez

Responsable de Desarrollo profesional en saludAgencia de Calidad Sanitaria de Andalucía