Guía Evaluación Impacto de La Formación

Embed Size (px)

Citation preview

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    1/110

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    2/110

    GUA PARA LA EVALUACINDE IMPACTO DE LA FORMACIN

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    3/110

    ADVERTENCIA

    El uso de un lenguaje que no discrimine ni marque diferencias entrehombres y mujeres es una de las preocupaciones de nuestra Organizacin.Sin embargo, no hay acuerdo entre los lingistas sobre la manera de cmohacerlo en nuestro idioma.

    En tal sentido y con el n de evitar la sobrecarga grca que supondra utilizaren espaol o/a para marcar la existencia de ambos sexos, hemos optadopor emplear el masculino genrico clsico, en el entendido de que todas lasmenciones en tal gnero representan siempre a hombres y mujeres.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    4/110

    EDITORESNina Billorou

    Martha PachecoFernando Vargas

    Gua para la evaluacin

    de impacto de la formacin

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    5/110

    Impreso en Montevideo

    Las denominaciones empleadas, en concordancia con la prctica seguida en las Naciones Unidas, y la formaen que aparecen presentados los datos en las publicaciones de la OIT no implican juicio alguno por parte dela Ocina Internacional del Trabajo sobre la condicin jurdica de ninguno de los pases, zonas o territorioscitados o de sus autoridades, ni respecto de la delimitacin de sus fronteras.

    La responsabilidad de las opiniones expresadas en los artculos, estudios y otras colaboraciones rmados

    incumbe exclusivamente a sus autores, y su publicacin no signica que la OIT las sancione.Las referencias a rmas o a procesos o productos comerciales no implican aprobacin alguna por la OcinaInternacional del Trabajo, y el hecho de que no se mencionen rmas o procesos o productos comercialesno implica desaprobacin alguna.

    Las publicaciones de la OIT pueden obtenerse en las principales libreras o en ocinas locales de la OIT enmuchos pases o pidindolas a: Publicaciones de la OIT, Ocina Internacional del Trabajo, CH-1211 Ginebra22, Suiza. Tambin pueden solicitarse catlogos o listas de nuevas publicaciones a la direccin antesmencionada o por correo electrnico a: [email protected] Sitio en la red: www.ilo.org/publns

    El Centro Interamericano para el Desarrollo del Conocimiento en la Formacin Profesional (OIT/Cinterfor)es un servicio tcnico de la OIT, establecido en 1963 con el n de impulsar y coordinar los esfuerzos delas instituciones y organismos dedicados a la formacin profesional en la regin. Las publicaciones puedenobtenerse en las ocinas locales de la OIT en muchos pases o solicitndolas a OIT/Cinterfor, E-mail:[email protected], Fax: 902 1305, Montevideo, Uruguay.

    Sitio en la red: http://www.oitcinterfor.org/

    Copyright Organizacin Internacional del Trabajo (OIT/Cinterfor) 2011Primera edicin 2011

    Las publicaciones de la Organizacin Internacional del Trabajo gozan de la proteccin de los derechos depropiedad intelectual, en virtud del protocolo 2 anexo a la Convencin Universal sobre Derecho de Autor.No obstante, ciertos extractos breves de estas publicaciones pueden reproducirse sin autorizacin, con lacondicin de que se mencione la fuente. Para obtener los derechos de reproduccin o de traduccin deben

    formularse las correspondientes solicitudes a la Ocina de Publicaciones (Derechos de autor y licencias),Organizacin Internacional del Trabajo, CH-1211 Ginebra 22, Suiza, solicitudes que sern bien acogidas.

    Red de Instituciones de Formacin Profesional Gua para la evaluacin de impacto de la formacinMontevideo: OIT/Cinterfor, 2011.

    108 p.

    Glosario: p. 91 ISBN: 978-92-9088-256-5

    FORMACIN PROFESIONAL/ COMPETENCIAS/ CALIFICACIN/EVALUACIN DEL IMPACTO/ EVALUACION/ DESARROLLO ECONOMICO YSOCIAL/ TRABAJO DECENTE/ EMPRESA/ DIALOGO SOCIAL/ NEGOCIACINCOLECTIVA

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    6/1105

    Gua para la evaluacin de impacto de la formacin

    Tabla de contenido

    Presentacin...................................................................................................................... 7

    Introduccin...................................................................................................................... 9 Por qu se requiere una gua para la evaluacin de impacto? ....................... 9

    En qu consiste esta Gua prctica? ..................................................................... 9

    A quines va dirigida? .............................................................................................. 10 Cmo est estructurada? ........................................................................................ 10

    Qu caractersticas tiene y cmo se puede utilizar? ........................................... 11

    Eje 1 Contexto................................................................................................................... 13 1.1. De qu manera la formacin se relaciona con el desarrollo

    econmico y social?........................................................................................... 14

    1.2. Cmo impactan la formacin y el desarrollo de competenciasa las personas, las empresas y la sociedad? ................................................... 14

    1.3. Cmo se relacionan la formacin profesional, el trabajo decentey la evaluacin de impacto? ............................................................................ 16

    Eje 2 Conceptualizacin.................................................................................................. 19 2.1. Qu es evaluar? ................................................................................................ 20

    2.2. Qu implica evaluar la formacin? ................................................................ 21

    2.3. Qu se entiende por evaluacin de impacto? ............................................ 23

    2.4. Cul es la diferencia entre monitoreo, evaluacin intermediay evaluacin de impacto? ................................................................................ 25

    2.5. Por qu evaluar el impacto? ........................................................................... 25

    2.6. Para qu evaluar el impacto de la formacin? ........................................... 27

    Eje 3 Participacin de los interlocutores sociales en la evaluacin.......................... 29 3.1. Cmo se concibe el dilogo social y la negociacin colectiva

    en el mbito de la formacin y el desarrollo de competencias? ................ 30

    3.2. Quines son los interlocutores sociales en la formacin y la evaluacinde impacto? ........................................................................................................ 32

    3.3. Cul es el rol del Estado en la promocin del dilogo social para laevaluacin de impacto de la formacin profesional? .................................. 33

    3.4. Cmo participan los interlocutores sociales en la evaluacinde impacto? ........................................................................................................ 33

    3.5. Cales son los desafos para la efectiva participacin de losinterlocutores sociales?....................................................................................... 35

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    7/1106

    Eje 4 Cmo evaluar el impacto de la formacin?..................................................... 37 4.1. Qu son y cmo se construyen los indicadores en la evaluacin de

    impacto? .............................................................................................................. 38

    4.2. En qu consiste la evaluacin de impacto con mtodos cuantitativos? . 41

    4.3. En qu consiste la evaluacin de impacto con mtodos cualitativos?.... 50 4.4. Por qu es importante combinar los mtodos cuantitativos y cualitativospara evaluar el impacto de la formacin? ..................................................... 54

    4.5. Cmo se analizan la ecacia y eciencia?................................................... 55

    Eje 5 Cmo implementar la evaluacin de impacto?............................................... 61 5.1. Siempre es necesario evaluar el impacto? .................................................... 62

    5.2. Cmo incorporar la evaluacin a la prctica organizacional? ................ 62

    5.3. Qu se requiere para una buena evaluacin? ............................................. 63

    5.4. Cules son las etapas para implementar la evaluacin de impacto? ...... 64

    5.5. Algunas lecciones aprendidas. .......................................................................... 67

    Anexos............................................................................................................................... 71 Anexo 1 ......................................................................................................................... 71

    Anexo 2 ......................................................................................................................... 73

    Anexo 3 ......................................................................................................................... 75

    Anexo 4 ......................................................................................................................... 77

    Anexo 5 ......................................................................................................................... 81

    Anexo 6 ......................................................................................................................... 83

    Anexo 7 ......................................................................................................................... 85 Anexo 8 ......................................................................................................................... 87

    Anexo 9 ......................................................................................................................... 89

    Glosario.............................................................................................................................. 91

    Acrnimos y abreviaturas................................................................................................ 97

    Lista de participantes....................................................................................................... 99

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    8/1107

    Gua para la evaluacin de impacto de la formacin

    Presentacin

    La elaboracin de esta Gua para la evaluacin de impacto de la formacinprofesional es el producto de una intensa y fructfera construccin colectiva deconocimiento de las instituciones miembros de la red OIT/Cinterfor, para lo cual susespecialistas aportaron sus valiosos conocimientos y experiencias. Igualmente, losmiembros del Consejo de Administracin de la OIT que participaron, enriquecieronlos debates, coadyuvando a que el documento est en concordancia con lasdecisiones adoptadas por la Conferencia Internacional del Trabajo y el Consejo deAdministracin.

    De esta manera se observan las orientaciones del Programa y Presupuesto 2012-20131en el sentido de que OIT/CINTERFOR seguir promoviendo una comunidadde aprendizaje y de cooperacin entre las instituciones nacionales de formacinprofesional en la regin de Amrica Latina y el Caribe, inclusive a travs de sistemasde informacin basados en la web, reuniones regionales y acuerdos de cooperacinSur-Sur.

    Al mismo tiempo, se procede en consonancia con la Recomendacin sobreel desarrollo de los recursos humanos2 que seala la importancia de evaluar elimpacto que tienen las polticas en materia de educacin, formacin y aprendizajepermanente; as como tener en cuenta parmetros de referencia en relacin conpases, regiones y sectores de caractersticas comparables, a la hora de tomardecisiones de inversin en materia de educacin y formacin.

    Para quienes invierten en el desarrollo de las competencias, ya sean los gobiernos,las empresas, los sindicatos, las organizaciones o las personas, es preciso saber, concierto grado de certeza, los retornos de su inversin y, el impacto de la formacin.

    Este proceso de construccin colectiva, cuyo resultado es esta Gua, favoreciampliamente la consolidacin de la red, promoviendo el contacto directo, tantopresencial como virtual, entre expertos en el desarrollo de los recursos humanos,fortaleciendo sus vnculos e intercambios, en suma, la gestin del conocimiento.

    Esta Gua es un instrumento prctico, til y pertinente, que considera los diferentesescenarios de desarrollo de los pases y de los organismos que tienen a su cargo lagran responsabilidad de la formacin profesional. Responde a la prioridad sealadapor las instituciones miembros de OIT/Cinterfor3sobre la importancia de conocer, msall de las estadsticas sobre acciones realizadas, nmero de participantes y accesoa un empleo, en qu medida las personas mejoraron su insercin y movilidad laboral,la calidad de la ocupacin, de los salarios, de las condiciones de salud y seguridad

    1 GB 310/PFA/2

    2 OIT. Recomendacin 195 sobre el Desarrollo de los Recursos Humanos. Educacin, formacin yaprendizaje permanente. Adoptada por la Conferencia Internacional del Trabajo, 90 reunin,Ginebra, 17 de junio de 2004.

    3 39 Reunin de la Comisin Tcnica, Brasilia, octubre 2009

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    9/1108

    laboral y el acceso a derechos; as como reconocer si la formacin est respondiendoa la demanda de los sectores productivos y aportando a la productividad laboral ycompetitividad de las empresas y los pases.

    Nuestro ms profundo agradecimiento a las instituciones miembros de OIT/Cinterfor

    y a sus profesionales, quienes con tanta generosidad y compromiso compartieronsus conocimientos para poder entregar, al mundo de la formacin profesional, esteinstrumento que seguir siendo enriquecido en la medida en que aquellas avancenen la evaluacin de impacto de las polticas, programas y acciones para que laspersonas tengan acceso a un trabajo decente y productivo.

    Al Departamento de Conocimientos Tericos y Prcticos y Empleabilidad (EMP/SKILLS)de la OIT en Ginebra por su presencia y aportes en el proceso.

    Al Ministerio de Trabajo, Empleo y Seguridad Social (MTEySS) de la Repblica Argentina,a la Fundacin Tripartita para la Formacin en el Empleo (FTFE) de Espaa y al ServicioEcuatoriano de Capacitacin Profesional (SECAP) que generosamente brindaron

    su apoyo tcnico y logstico como antriones en las reuniones regionales de 2010 y2011.

    Al equipo tcnico que colabor en la revisin del material y en su presentacin grcae impresin.

    Martha Pacheco

    Directora OIT/Cinterfor

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    10/1109

    Gua para la evaluacin de impacto de la formacin

    Introduccin

    Por qu se requiere una gua para la evaluacin de impacto?

    En las ltimas dcadas, se han realizado experiencias de evaluacin del impactode la formacin en las instituciones miembros de la red que coordina OIT/Cinterfor,buscando soluciones prcticas y adaptadas a sus necesidades.

    La OIT ha sealado la importancia de tener en cuenta parmetros de referencia enrelacin con pases, regiones y sectores de caractersticas comparables, a la horade tomar decisiones de inversin en materia de educacin y formacin, as como lanecesidad de evaluar el impacto que tienen sus polticas al respecto 4.

    Quienes invierten recursos y energas en el desarrollo de las competencias, ya seanlos gobiernos, empresas, individuos, instituciones formativas y otros, necesitan saber,en qu medida se logran los objetivos, qu impacto tienen las acciones y cul esel retorno de su inversin. Para lograrlo deben realizar procesos de evaluacin quegeneren informacin vlida, til y conable.

    En la prctica, quienes deben tomar la decisin de implementar evaluaciones de

    impacto, se enfrentan a una serie de mitos sobre su complejidad tcnica y el costo quedemandan, lo cual en muchos casos, termina disuadindolos de llevarlas adelante.

    Adicionalmente, como se desarrolla en el contenido, la participacin tanto de quienaprende, como de todos los interesados en la formacin, es un factor fundamentalpara el xito de las evaluaciones de impacto. Es por ello que mediante esta Gua, seespera que todos aquellos quienes de un modo u otro se vean involucrados en unproceso de evaluacin, tengan la oportunidad de desarrollar capacidades bsicaspara comprenderlo y manejar el lenguaje asociado con esta actividad.

    En qu consiste esta Gua prctica?Es una herramienta que presenta un conjunto de conceptos clave, orientacionesprcticas y lecciones aprendidas, utilizables para incorporar la evaluacin de impactoen el quehacer de las instituciones y organizaciones que llevan adelante procesosformativos.

    Plantea el tema de una manera prctica y no comprometida con ortodoxiametodolgica alguna; por el contrario, pretende contribuir con aportes concretosy tiles, para la reexin y toma de decisiones, que permitan encontrar solucionesadaptadas a las distintas realidades nacionales de todos los pases que integran lared OIT/Cinterfor.

    4 OIT. Recomendacin 195. Op. cit.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    11/11010

    Gua para la evaluacin de impacto de la formacin

    Sirve como base para decisiones de planicacin, ejecucin y anlisis de lasevaluaciones. Un aspecto relevante de esta Gua es responder al desafo de suactualizacin y dinamismo, siendo un producto en permanente construccin.

    En efecto, se cuenta con una comunidad de aprendizaje virtual en torno a la Gua,

    un mbito dinmico que continuar estimulando la construccin colectiva deconocimiento. Para ello se prevn mecanismos de intercambio de experiencias y deherramientas abiertos a todos los interesados en mejorar y ampliar los aprendizajessobre los temas vinculados a la evaluacin del impacto de la formacin.

    A quines va dirigida?

    Est dirigida a todas las personas que, en los gobiernos, instituciones de formaciny empresas de todos los tamaos, estn involucradas en la toma de decisiones, eldiseo, la implementacin y la evaluacin de las polticas de formacin y desarrollo

    de competencias en los pases miembros de la red de OIT/Cinterfor.

    Cmo est estructurada?

    La Gua se ha estructurado en cinco ejes que abordan los temas que han sidoconsiderados clave por los participantes en el proceso de su elaboracin.

    Eje 1

    Contexto de laevaluacin de

    impacto

    Eje 5

    Cmoimplementar laevaluacin de

    impacto?

    Eje 4

    Cmo evaluarel impacto de laformacin?

    Eje 2

    Conceptualizacinde la evaluacinde impacto de la

    formacin

    Gua deevaluacin de

    impacto de laformacin

    Eje 3

    Participacin de losinterlocutoressociales en laevaluacin de

    impacto

    El eje 1presenta una visin contextual de la formacin y el desarrollo de competencias

    para ilustrar su relacin con los Objetivos de Desarrollo del Milenio (ODM) y con eldesarrollo econmico y social, aborda el impacto en las personas, las empresas y lasociedad. Plantea el vnculo de la evaluacin de impacto con el trabajo decente

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    12/11011

    Intro

    duccin

    Gua para la evaluacin de impacto de la formacin

    y, nalmente, introduce el concepto de gestin por resultados en la evaluacin deimpacto.

    En el eje 2 se trabajan los conceptos bsicos sobre la evaluacin de impacto, lasdiferentes instancias en que sta se aplica y la diferencia entre evaluar y monitorear.

    Con un nfasis prctico, se abordan nalmente las preguntas: por qu? y para quevaluar?

    En el eje 3se examinan los aspectos clave para la participacin de los interlocutoressociales en la evaluacin de impacto de la formacin, en particular la importanciade fomentar mbitos y marcos institucionales que faciliten el dilogo social sobrelaspolticas y estrategias de formacin y desarrollo de las competencias laborales parapromover los intereses de las personas, las empresas, la economa y la sociedad.

    El eje 4explica los aspectos tcnicos fundamentales de la evaluacin de impacto.Plantea qu son y cmo se construyen indicadores de impacto y describe los mtodoscuantitativos y cualitativos con sus caractersticas, etapas y requerimientos tcnicos.

    Finalmente, el eje 5 presenta algunas de las cuestiones de carcter prctico alimplementar una evaluacin, las etapas que sta comprende y algunas conclusionespara llevar adelante los procesos de evaluacin. Esta es una seccin en desarrollo y seespera que, en tanto los diferentes agentes y actores relacionados con la formacinlleven adelante ms evaluaciones de impacto y acumulen aprendizajes puedaampliarse y proveer ms y mejores experiencias. En este sentido se aprovechar elportal de OIT/Cinterfor (www.oitcinterfor.org) para albergar la Gua y sus productosde conocimiento relacionados.

    Qu caractersticas tiene y cmo se puede utilizar?

    Como ya se ha mencionado, la Gua no recomienda ninguna metodologa enparticular, por tanto no es un recetario de soluciones, ms bien es un instrumento deapoyo para desarrollar capacidades de reexin y accin en los usuarios.

    Por esta razn, cada eje se desarrolla de la siguiente forma:

    al inicio se formulan los objetivos;

    en su desarrollo se plantean preguntas clave para avanzar en la reexin y ensu aplicacin en el contexto;

    al nal se incluye informacin sobre conocimientos adicionales y experiencias;para el eje 4 se agregan herramientas. Todo est disponible en el portal de OIT/Cinterfor.

    Esta Gua se puede leer de forma secuencial desde el eje 1 al 5, o bien consultandodirectamente el contenido de un determinado eje de acuerdo a las necesidadesespeccas de cada lector.

    Adems el lector podr ingresar a la pgina web de OIT/Cinterfor para consultar lasactualizaciones en materia de experiencias, casos y herramientas que se publicarny actualizarn peridicamente con la colaboracin de la red.

    Acompaa esta primera edicin una memoria porttil (USB pendrive) en la que sehan grabado todos los materiales adicionales disponibles en la web. Las posterioresactualizaciones se podrn consultar en el portal de OIT/Cinterfor.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    13/110

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    14/11013

    Gua para la evaluacin de impacto de la formacin

    Eje 1

    Contexto

    Este eje describe el marco en el que la formacin5 tiene resultados econmicos ysociales; expone su relacin con los Objetivos de Desarrollo del Milenio (ODM) y conel desarrollo econmico y social, aborda el impacto en las personas, las empresas yla sociedad. Explica el vnculo de la evaluacin de impacto con el trabajo decentey, nalmente, introduce el concepto de gestin por resultados en la evaluacin de

    impacto.

    Objetivos:

    Al nalizar este eje el lector podr:

    Relacionar la formacin con el desarrollo econmico y social.

    Identicar el impacto que se genera con la formacin y el desarrollo decompetencias.

    Vincular la formacin, la evaluacin y el concepto de trabajo decente.

    De qu manera laformacin se relaciona

    con el desarrolloeconmico y social?

    Cmo impactan laformacin y el desarrollo

    de competenciasa las personas, las

    empresas y la sociedad?

    Cmo se relacionan laformacin profesional,

    el trabajo decentey la evaluacinde impacto?

    Contexto

    5 Se utilizarn los conceptos formacin y desarrollo de competencias de forma indistinta para referirse al procesode adquisicin y perfeccionamiento de capacidades laborales y para la vida, como resultado de una accinformativa.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    15/11014

    Gua para la evaluacin de impacto de la formacin

    1.1. De qu manera la formacin se relaciona con el desarrollo econmicoy social?

    La educacin, la formacin profesional y el aprendizaje permanente son pilaresfundamentales para el empleo de los trabajadores; les facilitan condiciones para

    mejorar su empleabilidad y su calidad de vida y contribuyen con el desarrolloempresarial sostenible. Estos cometidos estn ligados con los ODM6, en especial losrelativos a la reduccin de la pobreza.

    El primero de los ODM, Erradicar la pobreza extrema y el hambre junto con unade las metas para hacer realidad dicho objetivo, cual es Lograr el empleo plenoy productivo y el trabajo decente para todos, incluidos las mujeres y los jvenesrecogen los propsitos de los programas de formacin y desarrollo de competenciasque promueven los ministerios de educacin y de trabajo, ejecutados por ellos mismosy por instituciones pblicas y privadas. Una de las reas estratgicas del mandato dela OIT es el resultado: Ms mujeres y hombres tienen acceso a empleos productivos,trabajo decente y oportunidades de obtener ingresos7, para lo cual el desarrollo delas competencias es esencial.

    En recientes discusiones sobre la importancia del desarrollo de las capacidades ycompetencias, la OIT ha insistido en que la educacin y la formacin son necesariaspara el crecimiento de la economa y del empleo y para el desarrollo social. Tambincontribuyen al desarrollo de la persona humana y a la constitucin de una ciudadanainformada. La educacin y la formacin son un medio para potenciar a las personas,mejorar la calidad y la organizacin del trabajo, aumentar la productividad y losingresos de los trabajadores, fortalecer la capacidad competitiva de las empresas ypromover la seguridad en el empleo, la equidad y la insercin social . La formacines piedra angular del trabajo decente8, con una visin de aprendizaje permanente

    que guarda coherencia con las polticas pblicas en los mbitos econmico, scal,social y del mercado de trabajo, todas ellas fundamentales para el crecimientoeconmico sostenible, la creacin de empleo y el desarrollo social.

    La formacin y el desarrollo de competencias constituyen la base para lacompetitividad de las economas y de las empresas. Desde el punto de vista social,son una herramienta en el combate a la pobreza y la promocin de la igualdad deoportunidades, mediante la integracin de las personas en los mbitos laboral, socialy de ciudadana9. La formacin profesional es una de las polticas para el logro de losobjetivos centrales de la estrategia de generacin de trabajo decente10.

    1.2. Cmo impactan la formacin y el desarrollo de competencias a laspersonas, las empresas y la sociedad?

    La Recomendacin 195 de la OIT, alienta a los pases miembros a apoyar y facilitarla investigacin en materia de desarrollo de los recursos humanos y la formacin,la que podra comprender las inversiones en formacin, as como la ecacia y elimpacto de la misma.

    6 Los ODM son un plan de todas las naciones y las instituciones de desarrollo ms importantes a nivel mundial; fueronlanzados en la Cumbre Mundial de 2000 de las Naciones Unidas.Ver: http://www.un.org/spanish/millenniumgoals/bkgd.shtml

    7 Programa y Presupuesto para el bienio 2010-2011. OIT, Ginebra, 2009.

    8 Resolucin sobre la formacin y el desarrollo de los recursos humanos. OIT. CIT 88 reunin, Ginebra, 2000.

    9 OIT. Recomendacin 195. Op. cit.

    10 OIT. Trabajo decente en las Amricas: una agenda hemisfrica 2006-2015. Informe del Director General. XVIReunin Regional Americana, Brasilia, 2006.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    16/11015

    EJE

    1

    Gua para la evaluacin de impacto de la formacin

    Contando con un entorno econmico y social propicio, la formacin y el desarrollo decompetencias contribuyen a la mejora del desempeo de las personas y de las empresas,lo que se traduce en crecimiento del empleo y desarrollo para la sociedad11.

    personas

    beneficios

    sociedadempresas

    Las personasque participan en la formacin pueden acceder a mejores condicionesde trabajo, de remuneracin, a una mayor empleabilidad y una mejor calidad devida. El desarrollo de calicaciones y competencias debera garantizar su capacidadpara adaptarse a los cambios en las tecnologas y la organizacin del trabajo.

    Investigaciones recientes de CEDEFOP, han demostrado que la formacin profesionalpuede fomentar la conanza y la autoestima, contribuyendo a la insercin delindividuo en la familia y en la sociedad12.

    En Amrica Latina y el Caribe, factores como la heterogeneidad y la segmentacinen el mercado de trabajo inciden en los impactos de la formacin. Casi un terciodel mercado laboral se encuentra en zonas rurales y ms de la mitad del empleocorresponde a trabajadores independientes, domsticos, trabajadores familiares noremunerados, o asalariados en microempresas. Una alta proporcin de la poblacinactiva es joven y vulnerable al desempleo. En estos segmentos se concentra gran partede la pobreza, de la informalidad y del dcit de trabajo decente en la regin13.

    Si bien existen importantes desarrollos en la regin e instituciones de vanguardia,tambin es cierto que algunos sistemas locales de formacin tienen dicultades parael acceso de ciertos colectivos de la poblacin lo que conlleva a exclusin laboral

    y adems requieren mejorar la articulacin entre la oferta y la demanda.

    Las empresas, de todos los tamaos, que consideran a sus trabajadores como unafuente importante de ventaja competitiva y como activos y agentes del cambio,pueden ser ms innovadoras y sostenibles.

    Para tal n, las empresas deben identicar las calicaciones que precisan, promoveruna cultura de aprendizaje permanente, fomentar la formacin en el lugar detrabajo y facilitar el intercambio de conocimientos. Las empresas sostenibles integranel desarrollo de los recursos humanos en su estrategia y actan con equidad aldesarrollar las calicaciones y competencias de sus trabajadores. Invirtiendo en sus

    11 Conclusiones sobre las calicaciones para el incremento de la productividad, el crecimiento del empleo y el de-sarrollo. Op. cit.

    12 CEDEFOP. Vocational education and training is good for you. The social benets of VET for individuals. 2011

    13 OIT. Trabajo decente en las Amricas. Op. cit.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    17/11016

    Gua para la evaluacin de impacto de la formacin

    recursos humanos compiten con xito en unos mercados mundiales cada vez msexigentes e integrados14.

    La segmentacin del mercado de trabajo tambin se verica en la estructuraempresarial. Los niveles de productividad son elevados solo en algunas ramas de

    actividad, mientras que en otras son bastante inferiores al promedio. En las ramascon ms altos niveles de productividad se emplea a un bajo porcentaje detrabajadores.

    La OIT calcula que la economa informal involucra al 75 por ciento de los trabajadoresy representa un 40 por ciento del PIB; para el sector rural, una importante fraccin delempleo se genera en la pequea unidad agropecuaria de tipo familiar15. El desarrollode las competencias es fundamental para que la fuerza laboral se desplace de laeconoma informal hacia empleos en la economa formal, as como para aumentarla productividad del trabajo.

    La sociedadpercibe los impactos del desarrollo de competencias mediante empleos

    de mejor calidad, mayores tasas de ocupacin y formalidad, reduccin de la pobreza,inclusin social, respeto de los derechos laborales y competitividad en los mercadosmundiales16.

    La formacin debe responder al entorno productivo, tecnolgico, laboral ysociocultural, as como a las caractersticas, condiciones, necesidades y expectativasde sus sujetos de atencin. Esta es la doble pertinencia de la formacin, tanto socialcomo econmica.

    Tambin, el desarrollo de las calicaciones, puede contribuir a la construccin desociedades ms equitativas. Existe una estrecha relacin entre las diversas formasde exclusin del mercado de trabajo como el desempleo, el subempleo y los bajos

    ingresos laborales con la pobreza y la discriminacin17

    , por tanto, acciones deformacin que coadyuven a resolver tales formas de exclusin, incidirn en la luchacontra la pobreza y la exclusin social. Los benecios sociales incluyen temas sensiblescomo la reduccin de ndices de violencia y criminalidad, y otros como la integracina la familia, la comunidad y la sociedad en su conjunto18.

    Un ambiente formativo adecuado estimula el aprendizaje en equipo, la construccinde conocimientos y mejores actitudes, motivaciones y valores, todo lo cual conducea una mejor integracin social. El reconocimiento que se otorga mediante uncerticado de competencia, se valora en el mercado laboral y en el mbitoeducativo, favoreciendo la participacin social y el compromiso con el aprendizajepermanente.

    1.3. Cmo se relacionan la formacin profesional, el trabajo decente y laevaluacin de impacto?

    La nalidad primordial de la OIT es promover oportunidades para que los hombres ylas mujeres puedan conseguir un trabajo decente y productivo en condiciones delibertad, equidad, seguridad y dignidad humana. Es el punto de convergencia de los

    14 Resolucin sobre la promocin de empresas sostenibles. OIT. CIT, 96 reunin, Ginebra, 2007.

    15 OIT. Trabajo decente en las Amricas. Op. cit.16 Resolucin sobre la promocin de empresas sostenibles. Op.cit.

    17 OIT. Trabajo decente en las Amricas. Op. cit

    18 Vocational education and training is good for you. CEDEFOP. Op. cit.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    18/11017

    EJE

    1

    Gua para la evaluacin de impacto de la formacin

    cuatro objetivos estratgicos de la OIT: la promocin de los derechos fundamentalesen el trabajo, el empleo, la proteccin social y el dilogo social19.

    La formacin y desarrollo de competencias y calicaciones, allana el camino para laobtencin de un trabajo decente y productivo.

    El uso de indicadores adecuados para la evaluacin de impacto puede aportarinformacin relevante para valorar las diferentes dimensiones del enfoque de trabajodecente.

    El marco general de indicadores de trabajo decente incluye las siguientes reas demedicin20:

    1. Oportunidades de empleo;

    2. Ingresos adecuados y trabajo productivo;

    3. Horas de trabajo decentes;

    4. Conciliacin del trabajo, la vida familiar y la vida personal;5. Trabajo que debera abolirse;

    6. Estabilidad y seguridad del trabajo;

    7. Igualdad de oportunidades y de trato en el empleo;

    8. Entorno de trabajo seguro;

    9. Seguridad social;

    10. Dilogo social y representacin de trabajadores y de empleadores;

    11. Contexto econmico y social del trabajo decente.

    MATERIAL DE APOYO A ESTE EJEwww.oitcinterfor.org

    Conocimiento asociado

    1. Objetivos de Desarrollo del Milenio, 2000.2. Gua sobre los nuevos indicadores de

    empleo de los ODM, 2009.3. Trabajo decente, concepto e indicadores.

    4. Trabajo decente en las Amricas: unaagenda hemisfrica 2006-2015.5. Recomendacin 195 de la OIT sobre el

    desarrollo de los recursos humanos, 2004.6. Resolucin sobre la promocin de empresas

    sostenibles. OIT, 2007.7. Conclusiones sobre las calificaciones

    para el incremento de la productividad, elcrecimiento del empleo y el desarrollo.OIT, 2008.

    Experiencias y aplicaciones

    1. Indicadores para seguimiento de los ODM.UN Stats, 2006.

    2. La medicin del trabajo decente conindicadores estadsticos. OIT, 2003.

    3. Trabajo decente: significados y alcances delconcepto. Indicadores propuestos para sumedicin. MTEySS Argentina, 2007.

    4. Calidad, per tinencia y equidad. Un enfoqueintegrado de la formacin profesional.OIT/Cinterfor, 2008.

    19 Memoria del Director General. OIT. CIT, 87 reunin, Ginebra, 1999.

    20 Gua sobre los nuevos indicadores de empleo de los ODM. OIT, Ginebra, junio 2009.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    19/110

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    20/11019

    Gua para la evaluacin de impacto de la formacin

    Eje 2

    Conceptualizacin

    Este eje se ocupa de los conceptos bsicos sobre la evaluacin, expone su diversidadpara diferenciar entre ellos y establecer qu es y qu no es la evaluacin de impacto.Describe las diferentes instancias en que se aplica la evaluacin en la formacin ydesarrollo de competencias, explica la diferencia entre evaluar y monitorear. Con unnfasis prctico, aborda nalmente las preguntas: por qu? y para qu evaluar?

    Objetivos:

    Al nalizar este eje el lector podr:

    Identicar los conceptos clave referidos a la evaluacin.

    Analizar la nalidad y utilidad de evaluar el impacto de la formacin.

    Valorar la informacin que brinda la evaluacin de impacto para la gestiny la toma de decisiones.

    Qu esevaluar?

    Qu implicaevaluar la

    formacin?

    Qu seentiende por

    evaluacin deimpacto?

    Cul es ladiferencia

    entremonitoreo,evaluacinintermedia

    y evaluacinde impacto?

    Por quevaluar elimpacto?

    Para quevaluar el

    impacto de laformacin?

    Conceptualizacin

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    21/11020

    Gua para la evaluacin de impacto de la formacin

    2.1. Qu es evaluar?

    Es muy amplia y variada la literatura sobre evaluacin; a continuacin algunasdeniciones:

    Apreciacin sistemtica e imparcial de un proyecto, programa o polticaen curso o concluido, de su diseo, su puesta en prctica y sus resultados. Elpropsito es determinar la pertinencia y el logro de los objetivos, as como laeciencia, la ecacia, el impacto y la sostenibilidad para el desarrollo. (OCDE,2010)

    Proceso sistemtico, continuo e integral, destinado a determinar en qu medidase han alcanzado los objetivos previamente determinados. (Serie metodolgicavolumen 6-2005, SENAR, Brasil)

    Proceso sistemtico y continuo que incorpora tanto el estudio de los procesos,resultados e impacto, como la mirada de los sujetos hacia los cuales se dirigen

    las acciones. (Diseo de la evaluacin de impacto de las polticas de formacincontinua, 2010, MTEySS, Argentina)

    Ms all de los matices, cabe sealar que la mayora de las deniciones hacenhincapi en la necesidad de vericar el logro de los objetivos as como en el carctersistemtico, continuo e integral de los procesos de evaluacin.

    Al considerar la evaluacin de cualquier proyecto, programa o poltica, es necesarioabordar ciertos conceptos clave tales como:

    el momento en que la evaluacin se lleva a cabo;

    las preguntas que se espera que la evaluacin responda;

    los criterios y dimensiones que orientan la evaluacin.

    El momento para la evaluacin:

    Hace referencia al lugar en el tiempo, en que se lleva a cabo la evaluacin:

    Evaluacin ex ante:

    tiene lugar durante lafase de planificacinde la intervencin

    e implica evaluar lapertinencia y

    calidad de la mismaen relacin con la

    necesidado demanda.

    Evaluacin

    intermedia:se lleva a cabo durantela ejecucin y tiene por

    objetivo realizar losajustes e introducir lasmejoras que permitan

    cumplir con losobjetivos.

    Evaluacin ex post:

    se realiza un tiempodespus de lafinalizacin para

    verificar si se hanalcanzado los objetivos

    propuestos.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    22/11021

    EJE

    2

    Gua para la evaluacin de impacto de la formacin

    Dependiendo del momento en el que se desarrolla la evaluacin no slo cambiasu nalidad sino tambin las preguntas esenciales a las que se busca responder, lasdimensiones o criterios en los que se centra la evaluacin y las herramientas e indicadoresque se utilizan para medir si se han logrado o no los objetivos planteados.

    2.2. Qu implica evaluar la formacin?

    Como se explic en el contexto, es necesario conocer el grado en que los programasde formacin contribuyen a alcanzar objetivos relativos al empleo y la mejora de lascondiciones sociales y econmicas de las personas, las empresas y la sociedad en suconjunto.

    La OIT plantea que teniendo en cuenta la importancia de los mecanismos y losprocesos, su ecacia se debera evaluar en funcin de los resultados. El establecimientode indicadores cualitativos y cuantitativos destinados a evaluar la consecucin de los

    objetivos en materia de educacin y capacitacin, en consonancia con el Programade Trabajo Decente, es apropiado para llegar a una comprensin comn de loslogros, las deciencias y las enseanzas extradas21.

    Las intervenciones para la formacin y el desarrollo de competencias suelen incluirevaluaciones de la satisfaccin o del aprendizaje alcanzado. Sin embargo, losresultados y efectos, directos e indirectos, se evalan con menor frecuencia, ancuando los responsables de la implementacin, las empresas y los propios participantes,estn cada vez ms interesados en conocerlos.

    Se proponen cinco niveles en la evaluacin de las acciones formativas22. Se haincluido un quinto nivel, el enfoque del retorno de la inversin23, complementario de

    la evaluacin de impacto.Estos diferentes niveles deben considerarse como un sistema, ya que entre ellos hayuna relacin causal y secuencial24.

    21 Conclusiones sobre las calicaciones para la mejora de la productividad, el crecimiento del empleo y el desarro-

    llo. OIT. CIT, 97 reunin, Ginebra, 2008.22 Basado en D. Kirkpatrick. Evaluacin de acciones formativas. Barcelona. 2004.

    23 ROI de sus siglas en ingls (Return on investment). Pulliam, P., Phillips, J., Fundamentos del ROI, Barcelona: 2007.

    24 Ibid

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    23/11022

    Gua para la evaluacin de impacto de la formacin

    Nivel de evaluacin Qu se evala? Cmo se obtiene la informacin?

    1 Reaccin o satisfaccin de losparticipantes.

    Es la primera etapa de unaformacin efectiva.

    Se valora parcialmente el diseoy particularmente el proceso ylos recursos utilizados, desde laperspectiva del participante.

    Busca indagar cmo reaccionan losparticipantes frente a la formacin:cmo valoran la pertinencia delos contenidos, el desempeo de

    los docentes, la organizacin, lametodologa, el cumplimiento de losobjetivos y otros aspectos generalesde la intervencin formativa.

    Generalmente utiliza cuestionariosque responden los participantes alfinalizar la accin formativa. Tambinpueden implementarse otras tcnicas,

    como grupos de trabajo, o entrevistasen profundidad. La utilizacin decuestionarios de satisfaccin seencuentra estandarizada en la mayora delas entidades formativas.

    2 Aprendizaje

    Se valoran los primeros resultadosde la formacin que, en muchasocasiones, constituyen por smismos el objetivo principal delas actividades formativas. Si el

    participante no ha aprendido, nose podr avanzar en los siguientesniveles.

    Busca conocer la eficacia de laaccin formativa a la hora dedesarrollar las competencias de losparticipantes. Responden a este nivellas pruebas de evaluacin, cadavez, en mayor medida, ligados a la

    demostracin, por diferentes medios,de la adquisicin de una determinadacompetencia.

    La evaluacin de este nivel se realizamediante instrumentos de evaluacindel aprendizaje, por ejemplo: test,observacin del desempeo, portafoliode evidencias u otras modalidadesadecuadas al tipo de competencia a

    evaluar.

    3 Transferencia o aplicacin

    Supone avanzar un paso ms en elconocimiento de los efectos de laformacin; adems de los cambiosen las competencias de laspersonas, se busca valorar hastaqu punto esta formacin estsiendo aplicada en los entornos de

    trabajo.

    Aunque la formacin se hayadesarrollado correctamente, puedepasar que los aprendizajes no sepongan en prctica por diferentesrazones. Adems de constatarsi el aprendizaje se transfiere aldesempeo laboral, la evaluacinidentifica los factores que incidieronen la transferencia. Constituye un

    paso ms en la comprobacin de loscambios que genera la formacin.

    Generalmente se aplican cuestionarios ose realizan consultas a los participantesy a quienes los supervisan directamente.

    Es en el mbito de las empresas dondese encuentra ms extendido este nivel deevaluacin.

    4 Impacto

    Este nivel es el que nos ocupaen esta Gua; la traduccin de losresultados de la formacin enimpactos. En este nivel se sita lavaloracin de la relacin causa-efecto.

    Busca verificar el logro de losobjetivos de formacin con diferentealcance de acuerdo al tipo deintervencin. Puede tratarse deimpactos que haya generado laaccin formativa en el resultadodel trabajo de las personas, losresultados organizacionales o lasociedad en su conjunto.

    Definir indicadores que sean confiables,que se puedan medir, sencillos yvlidos. Tambin es necesario investigarlos impactos de carcter cualitativoque la formacin ha generado. Lasmetodologas para la obtencin dela informacin son variadas y sedesarrollan en el eje 4.

    5 Retorno de la inversin (ROI)Este nivel implica asignar valoreseconmicos a los impactos paracalcular la rentabilidad de lainversin que se realiz para llevara cabo la formacin.

    Compara los costos de la inversinrealizada con el valor de losbeneficios obtenidos, en trminosmonetarios.

    Se vinculan los resultados con loscostos para calcular la rentabilidad.Se deben considerar los costos derealizar la formacin y tambin puedenconsiderarse los costos de no hacerlo.

    En el anexo 1 se incluye un ejemplo de aplicacin.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    24/11023

    EJE

    2

    Gua para la evaluacin de impacto de la formacin

    2.3 Qu se entiende por evaluacin de impacto?

    La evaluacin de impacto es un tipo particular de evaluacin. A continuacin secitan algunas deniciones:

    Trmino que indica si el proyecto tuvo un efecto en su entorno en trminoseconmicos, tcnicos, socio-culturales, institucionales y medioambientales.(OCDE, 1992)

    Es un tipo de evaluacin sumativa que se realiza al nal de una intervencinpara determinar en qu medida se produjeron los resultados previstos.(CEPAL-ILPES, 2005)

    Trata de determinar si hubo cambios, la magnitud que tuvieron, a qu segmentosde la poblacin objetivo afectaron, en qu medida y qu contribucinrealizaron los distintos componentes del proyecto al logro de sus objetivos.(Cohen y Franco, 2002)

    Medicin de los cambios en el bienestar de los individuos, que pueden seratribuidos a un programa o una poltica especca. (Banco Mundial, 2003)

    Al abordar la evaluacin de impacto es necesario destacar:

    La relacin de causalidad:se trata de conocer los cambios que se producentras un programa o poltica especca a nivel social, de la empresa o en losparticipantes de las mismas e identicar en qu medida estos cambios (efecto)son atribuibles al programa (causa).

    La variedad de impactos que puede tener una intervencin: econmicos,tcnicos, socio-culturales pueden ser previstos (denidos en los objetivos de laactuacin a evaluar) o no previstos.

    Los distintos impactosen las personas, las empresas y en la sociedad.

    La evaluacin de impacto se basa en el contraste entre la situacin de partida y loque ocurre una vez que la formacin ha tenido lugar. Ese contraste busca revelar loscambios que se pueden atribuir a la intervencin que se evala.

    impacto enla sociedad

    impacto en

    la empresa

    impacto en

    la persona

    productividad? clima laboral?

    innovacin? aprendizaje organizacional? ventaja competitiva?

    desarrollo econmico?

    cohesin social? mercado laboral?

    trabajo decente?

    empleabilidad?

    bienestar? condiciones de trabajo? remuneracin?

    carrera profesional?

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    25/11024

    Gua para la evaluacin de impacto de la formacin

    Como se mencion antes, la evaluacin de impacto debe dar respuesta a algunaspreguntas en relacin con la sociedad, las empresas y las personas:

    Para medir el impacto en la sociedad se pueden formular, entre otras:

    Se ha mejorado la calidad de los programas de formacin en los que seinvierten fondos pblicos?

    Han tenido ms oportunidades de acceso a la formacin las poblacionesvulnerables al desempleo, los jvenes, las mujeres, las personas condiscapacidad, las minoras tnicas?

    Ha permitido la formacin un acceso a trabajos decentes?

    Cul es el retorno econmico del presupuesto dedicado a la formacin?

    Estn las polticas econmicas y scales creando un entorno propicio para quela formacin contribuya al mejoramiento de la productividad, el crecimiento

    del empleo y el desarrollo?

    Las empresas pueden plantearse:

    Qu mejoras de la productividad pueden atribuirse a la accin deformacin?

    Se verican cambios positivos en las condiciones de trabajo?

    Los procesos de trabajo son ms ecientes como resultado de las nuevascompetencias desarrolladas?

    Disminuyeron los accidentes de trabajo?

    El clima laboral ha mejorado como efecto de la accin formativa?

    La proporcin de productos nales rechazados ha disminuido?

    Cunto retorna por cada unidad invertida en aprendizaje?

    Las personas se pueden preguntar:

    Ha sido til la formacin para encontrar un empleo?

    Se han desarrollado competencias que se demandan en el empleo?

    Han mejorado los ingresos como resultado de las nuevas competenciasadquiridas?

    Se tiene mejor empleabilidad?

    Han mejorado las condiciones de trabajo?

    Qu cambios en el bienestar se han producido?

    Los organismos que ejecutan programas de formacin deben tener en cuenta todasestas preguntas, desde el diseo de sus programas, en su ejecucin y en la evaluacinde impacto.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    26/11025

    EJE

    2

    Gua para la evaluacin de impacto de la formacin

    2.4. Cul es la diferencia entre monitoreo, evaluacin intermedia y evaluacinde impacto?

    El monitoreose desarrolla durante la ejecucin de la accin formativa, busca detectaroportunamente deciencias, obstculos y/o necesidades de ajuste para optimizar la

    gestin y los resultados esperados.

    Mediante el monitoreo se hace un seguimiento continuo y riguroso de lo que estsucediendo durante la implementacin, se analiza cmo evolucionan los indicadoresde gestin. El monitoreo de indicadores recopila y reporta sistemticamente lastendencias con el propsito de informar a los responsables de la implementacin ygestin del programa.

    La evaluacin intermedia del programa, indaga sobre las condiciones que puedenfacilitar o impedir el logro de los objetivos. Examina en forma peridica qu estsucediendo para responder preguntas especcas relacionadas con el diseo, laejecucin y los resultados, para intervenir oportunamente.

    Tanto el monitoreo como la evaluacin intermedia, o de desempeo del programa,se realizan durante la ejecucin y tienen como nalidad poner en marcha medidasde correccin que mantengan el programa en el rumbo pretendido antes de queconcluya.

    El impacto se mide al nalizar el programa y busca establecer la relacin causa-efecto entre una accin de formacin y los resultados.

    2.5. Por qu evaluar el impacto?

    Debido a la importancia que ha adquirido el desarrollo de competencias ycalicaciones, as como el monto signicativo de inversiones pblicas y privadas, esnecesario conocer el impacto de las acciones.

    La necesidad de evaluar el impacto se reconoce cada vez ms en mbitosinstitucionales, pblicos, privados y por las personas interesadas en la formacin.Conocer los resultados, efectos e impactos de los programas de formacin resultafundamental para tomar decisiones respecto de la calidad, la pertinencia y laequidad de los mismos.

    La creencia de que implica procesos exigentes en informacin y en tiempo y, porende, relativamente complicados y costosos, inhibe muchas veces la utilizacin deesta herramienta prctica. En la evaluacin no siempre son mejores los mtodos msortodoxos que muchas veces slo se reproducen en laboratorios y no se relacionancon la prctica cotidiana de la formacin.

    En esta misma lnea, hay quienes opinan que una evaluacin de impacto no siemprese justica y se debe ser selectivo para determinar los casos en que se llevar a cabo.Al respecto, en esta Gua se propone la regla de: entre evaluar y no evaluar, siemprees mejor evaluar25 que se puede complementar con: lo que no se mide no se puedemejorar.

    Para que una accin formativa tenga sentido y genere resultados debe respondera una necesidad de formacin. Luego de identicar cul es la necesidad, o sea lademanda de formacin, se denen los objetivos a lograr, se asignan recursos y se

    25 Grubb, W. Norton; Ryan, Paul. The roles of evaluation for vocational education and training: Plain talk on the eldof dreams. OIT, Ginebra, 1999.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    27/11026

    Gua para la evaluacin de impacto de la formacin

    realizan procesos que conducen al aprendizaje. La calidad, pertinencia y equidadcon que se ejecuten las intervenciones, determinarn los efectos en las personas, lasempresas y la sociedad. A la visin de este ciclo como un proceso, se le denomina lacadena de resultados, que se muestra en el grco siguiente:

    CADENA DE RESULTADOS DE LA FORMACIN

    TRANSFORMACIN DESEADA

    INVERSIN ACCIN

    RESULTADOS

    EFECTOS

    IMPACTOS

    AULAS, TALLERESMATERIALES,DOCENTES

    INSUMOS PROCESO

    CORTO YMEDIANO

    PLAZO

    LARGO

    PLAZO

    EMPLEO,INGRESOS,BIENESTAR,

    PRODUCTIVIDAD,AUTOESTIMA

    CURSOSDICTADOS,PARTICIPANTESCERTIFICADOS

    Los insumos son, fundamentalmente, recursos nancieros que se utilizan para desarrollarprocesos de aprendizaje, construir un centro, disear un programa de formacin,elaborar recursos didcticos, capacitar docentes, entre otros.

    Luego de realizada la inversin se incrementa la oferta en trminos de: centrosde formacin dotados, materiales didcticos, talleres de formacin, currculos porcompetencias. Los efectos deseados se producen una vez desarrollado el proceso

    de formacin en respuesta a la demanda.Los efectos directos, por lo general, se perciben en el corto plazo y se pueden mediral nalizar cada curso, por ejemplo: participantes formados, certicados otorgados,evaluaciones de competencia aplicadas.

    El impacto es el n ltimo de la formacin que debera reejarse en mejoras en elbienestar de los participantes, en la productividad de las empresas y en la sociedaden su conjunto. En el anexo 3 se muestran las variables seleccionadas en un caso deevaluacin de impacto.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    28/11027

    EJE

    2

    Gua para la evaluacin de impacto de la formacin

    2.6. Para qu evaluar el impacto de la formacin?

    La informacin que genera la evaluacin apoya la toma de decisiones para ajustarlas intervenciones, ampliarlas, recortarlas o sustituirlas. Es til para los gestores de losprogramas, los decisores de polticas pblicas, las empresas y las personas en general,

    para: Revisar si el sistema de formacin est simplemente orientado por la oferta, o

    es realmente una respuesta a la demanda26. Si un programa de formacin estorientado solo por la oferta, el mismo es prcticamente inviable.

    Contribuir a la creacin de mejores sistemas de formacin y desarrollo decompetencias y calicaciones.

    La conformacin de un sistema de informacin ms amplio y permanente queapoye la denicin de polticas de formacin profesional ms coherentes27.

    Mejorar la gestin de los programas y abrir procesos de aprendizajeorganizacional.

    Difundir el conocimiento sobre el programa y las actividades desarrolladas. Favorecer una mejor gestin y comprensin de todas las partes implicadas.

    La rendicin de cuentas y la transparencia en la utilizacin de los recursos.

    Saber en qu medida la formacin ha incidido en la mejora de los resultadosde la empresa y si la inversin realizada tiene un retorno positivo.

    Precisar el valor de la formacin suministrada por las empresas, en especialcuando se quiere estimular este tipo de capacitacin28.

    Promover una cultura de aprendizaje y formacin permanente en lasorganizaciones.

    Estimular el aprendizaje y que las personas puedan tomar mejores decisionespara su desarrollo de carrera.

    MATERIAL DE APOYO A ESTE EJEwww.oitcinterfor.org

    Conocimiento asociado

    1. Manual para la evaluacin de impactode proyectos de lucha contra la pobreza.CEPAL, 2005.

    2. Calificaciones para la mejora de laproductividad el crecimiento del empleo y eldesarrollo. OIT, 2008.

    3. The Roles of Evaluation for VocationalEducation and Training. OIT, 1999.

    4. Vocational education and training is good foryou. CEDEFOP, 2011.

    5. Manual para la evaluacin de impacto deprogramas de jvenes. E. Abdala, 2004.

    6. Evaluacin del impacto de la formacin enlas organizaciones. P. Pineda, 2000.

    Experiencias y aplicaciones

    1. Diseo de la evaluacin de impacto de laspolticas de formacin continua. MTEySS,Argentina, 2010.

    2. Evaluacin de polticas pblicas en Mxico.R. Canto, 2010.

    3. Evaluacin de impacto de la formacinprofesional modalidad: habilitacin,complementacin y formacin continua encentros. INFOTEP, 2006.

    26 Grubb, Norton y Ryan, Paul. Op. cit.

    27 Ibid.

    28 Ibid.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    29/110

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    30/11029

    Gua para la evaluacin de impacto de la formacin

    Eje 3:

    Participacin de los interlocutores

    sociales en la evaluacin

    En un ambiente democrtico, es fundamental contar con el apoyo de los interlocutoressociales en la denicin, seguimiento y evaluacin de las polticas y estrategias deeducacin y formacin.

    Este eje tiene el propsito de presentar los aspectos clave para la participacin de losinterlocutores sociales en la evaluacin de impacto de la formacin, en particular la

    importancia de fomentar marcos institucionales que faciliten el dilogo social sobrelas polticas y estrategias de formacin, para promover los intereses de las personas,las empresas, la economa y la sociedad.

    Objetivos:

    Al nalizar este eje el lector podr:

    Identicar los conceptos de dilogo social y negociacin colectiva.

    Valorar la importancia de la contribucin de los interlocutores sociales en laformacin y la evaluacin de su impacto.

    Identicar el rol del Estado como facilitador de la participacin. Analizar las modalidades de participacin en los procesos de evaluacin

    de impacto.

    Reconocer los desafos para la participacin.

    Cmo seconcibe el

    dilogo social yla negociacin

    colectivaen el mbito de

    la formacin yel desarrollo decompetencias?

    Quinesson los

    interlocutoressociales en laformacin y la

    evaluacin

    de impacto?

    Cul es el roldel Estado enla promocindel dilogo

    social para laevaluacin de

    impacto dela formacinprofesional?

    Cmoparticipan losinterlocutoressociales en la

    evaluacinde impacto?

    Cales sonlos desafos

    para la efectivaparticipacin

    de losinterlocutores

    sociales?

    Participacin de losinterlocutores sociales

    en la evaluacin

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    31/11030

    Gua para la evaluacin de impacto de la formacin

    3.1. Cmo se concibe el dilogo social y la negociacin colectiva en elmbito de la formacin y el desarrollo de competencias?

    La OIT tiene una amplia denicin del dilogo social que reeja la extensa variedad deprocesos y prcticas que se encuentran en los distintos pases. Segn esta denicin,

    el dilogo social comprende todo tipo de negociaciones y consultas o, simplemente,el mero intercambio de informacin entre los representantes de los gobiernos, losempleadores y los trabajadores, sobre cuestiones de inters comn relativas a laspolticas econmicas y sociales29.

    El dilogo social es, precisamente, una de las instituciones ms importantes delmercado de trabajo y est asociado con un concepto amplio de participacinciudadana que, como tal, consolida y fortalece la democracia. Resulta primordialpara formular polticas de empleo acertadas y para movilizar el apoyo global de lasociedad, necesario para la aplicacin ecaz de las mismas.

    En materia de educacin y formacin, los interlocutores sociales deben fortalecer

    ese dilogo, compartir responsabilidades en la formulacin de polticas y concertarasociaciones entre ellos o con los gobiernos para invertir en la formacin, planicarlay llevarla a cabo.

    En este sentido la OIT ha planteado en la Recomendacin sobre el desarrollo de losrecursos humanos que: Los Miembros deberan, sobre la base del dilogo social,formular, aplicar y revisar unas polticas nacionales de desarrollo de los recursoshumanos, educacin, formacin y aprendizaje permanente que sean compatiblescon las polticas adoptadas en los mbitos econmico, scal y socia l30. La mejoray el mantenimiento de la empleabilidad y de la calidad de los recursos humanos,son cuestiones esenciales del dilogo social, as como aspectos de la forma en quees suministrada la formacin en el propio lugar de trabajo o fuera del mismo, por unproveedor de formacin.

    La negociacin colectiva en un sentido amplio, es una de las formas ms extendidasde dilogo social que tiene lugar entre un empleador, un grupo de empleadores orepresentantes de empleadores y los representantes de los trabajadores, con el n dedeterminar los temas relacionados con las condiciones de trabajo.

    La negociacin colectiva tiene un importante papel en cuanto a las inversiones enla formacin permanente, la identicacin de las calicaciones necesarias paramantener la empleabilidad interna o externa y la creacin de marcos de calicaciones,incluido el reconocimiento y la certicacin. Las evaluaciones de impacto son uninsumo valioso para la negociacin colectiva, en tanto brindan informacin conableacerca de la efectividad y los resultados de las acciones formativas como base parala discusin y la generacin de acuerdos.

    Particularmente en los mbitos sectorial y de la empresa, la negociacin colectivaofrece condiciones para organizar e impartir la formacin y puede comprendercuestiones como31:

    las calicaciones que precisan la empresa y la economa;

    la formacin que requieren los trabajadores;

    29 Aspectos clave del dilogo social nacional: un documento de referencia sobre el dilogo social.

    OIT. Programa InFocus sobre Dilogo Social, Legislacin y Administracin del Trabajo, 2004.30 OIT. Recomendacin 195. Op. cit.

    31 Resolucin sobre la formacin y el desarrollo de los recursos humanos. OIT. CIT, 88 reunin, Ginebra,2000.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    32/11031

    EJE

    3

    Gua para la evaluacin de impacto de la formacin

    la evaluacin de las calicaciones bsicas y otras adquiridas en el lugar detrabajo o en el desempeo de actividades asociativas o individuales;

    el establecimiento de pautas de carrera para los trabajadores;

    la denicin de planes de desarrollo y de formacin profesional para lostrabajadores;

    la estructura necesaria para conseguir benecios ptimos de la formacin;

    los regmenes de reconocimiento y graticacin, incluida una estructura deremuneraciones.

    Los actores sociales tienen el desafo, entonces, de crear un marco adecuado parala negociacin y lograr compromisos que sean coherentes con la necesidad deimpulsar, sistemtica y permanentemente, el incremento de la productividad y demejorar las condiciones de trabajo y los ingresos de los trabajadores.

    Potenciar a los grupos desfavorecidos y grupos menos representados en la negociacincolectiva

    Un desafo para la efectividad del dilogo social al delinear polticas pblicaspara enfrentar los problemas sociales, adems de fortalecer las organizaciones detrabajadores y de empleadores, es la incorporacin al dilogo de quienes no estnorganizados y que, en algunos casos, no tienen voz. En ciertos contextos, los gruposdesfavorecidos estn poco representados en la negociacin colectiva, entre elloslos trabajadores de la economa informal, los jvenes, las mujeres, las personas condiscapacidad, los trabajadores que han recibido poca instruccin, los trabajadores

    rurales, los pueblos indgenas y los migrantes32.

    Estas personas son un porcentaje importante de la poblacin trabajadora y espreciso disear sistemas inclusivos para que se incremente su integracin en lanegociacin colectiva y participen de forma ms activa en los procesos formativos.Es especialmente a estos colectivos a los que se suele brindar posibilidades de accesoa la formacin mediante las polticas activas del mercado de trabajo, adoptadasprincipalmente por las autoridades pblicas. Estos grupos, a quienes van dirigidasacciones de formacin, han de tener la posibilidad de participar en la evaluacinde impacto, en especial en la discusin de su diseo. Por ende, las autoridadesgubernamentales deben favorecer el dilogo social, en sus diferentes formas y lasque sean ms apropiadas de acuerdo a los colectivos a los que se dirigen las polticaspblicas, facilitando la activa participacin de los interlocutores en la discusin de lostrminos de la evaluacin.

    El dilogo se convierte as en el canal de participacin de las organizacionesrepresentativas de los actores sociales, directa o indirectamente involucrados, comoun medio fundamental para vericar el alcance de los objetivos que se proponenlas polticas pblicas en materia de equidad e integracin social y econmica. Suparticipacin debe impulsarse en mbitos como:

    el diseo y formulacin de la evaluacin, deniendo las preguntas que laevaluacin plantea resolver;

    las etapas de la formacin;

    32 OIT. Trabajo Decente en las Amricas. Op. cit.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    33/11032

    Gua para la evaluacin de impacto de la formacin

    los resultados que se quieren enfatizar; y,

    la calidad de la intervencin.

    Esto no quiere decir que la evaluacin pueda ser totalmente diseada e implementadamediante un proceso poltico tripartito ya que la misma, para ser vlida y conable,supone requisitos tcnicos e independientes de connotaciones polticas33.

    La incorporacin de los interlocutores sociales y dems interesados debe tener encuenta:

    el contexto socioeconmico y poltico;

    los acuerdos sobre los objetivos de la evaluacin y el proceso de la misma;

    el suministro de informacin apropiada, relevante y actualizada que sirva deapoyo y consulta.

    3.2. Quines son los interlocutores sociales en la formacin y la evaluacinde impacto?

    En general, los interlocutores son aquellos que tienen participacin e intereses enlos asuntos que son objeto de debate en el dilogo social. Son principalmente lasorganizaciones de trabajadores y empleadores pero pueden incluirse tambin,cuando se trata de cuestiones sociales ms amplias, a otros grupos de ciudadanosinteresados, como se ha sealado en el anterior acpite.

    En la formacin, las redes de cooperacin tambin comprenden a las autoridadesregionales y locales, diversos ministerios, organismos sectoriales y profesionales,empresas, sindicatos, instituciones y proveedores de formacin, organizaciones nogubernamentales, asociaciones profesionales, organizaciones comunitarias, pueblosindgenas, organizaciones de migrantes, entre otros.

    Los enfoques asociativos para la formacin son cada vez ms frecuentes debido a laexigencia de programas actualizados y adaptados a las necesidades de los sectoresproductivos y de las personas. A menudo, el sector privado ha sido el iniciador de lasasociaciones con las instituciones de formacin, los gobiernos locales, los organismosde desarrollo y otros interlocutores. Los sindicatos han reconocido la importancia de

    la mejora de las calicaciones para mantener la empleabilidad y se han implicadoen el proceso de gestin del cambio. Los prestatarios de asistencia tcnica, incluidala OIT, han tomado conciencia de la necesidad de considerar la formacin y elaprendizaje permanente como parte de un enfoque ms amplio e integrado para eldesarrollo de empresas sostenibles y la promocin de la igualdad en el empleo y eltrabajo decente.

    La descentralizacin y el desarrollo de una amplia gama de actores sociales favorecenel establecimiento de organismos bi/tripartitos y multipartitos para estimular el dilogosobre la formacin de los trabajadores, centrar mejor los programas para respondera las necesidades y facilitar el desarrollo de las competencias de los grupos depoblacin desfavorecidos. La institucionalizacin de estos espacios no se produce

    en forma instantnea; es un proceso dinmico, de anlisis y revisin que, mediante el

    33 Grubb, W. Norton; Ryan, Paul. Op. cit.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    34/11033

    EJE

    3

    Gua para la evaluacin de impacto de la formacin

    examen de los resultados y en funcin del contexto, posibilitar avanzar en mayoresniveles de desarrollo y consolidacin.

    En la mayora de las instituciones de formacin profesional, se cuenta con laparticipacin de los interlocutores sociales en diferentes instancias. Si bien la forma ms

    generalizada es la integracin de representantes de empleadores y de trabajadores enlos Consejos Directivos, crecientemente se han desarrollado mecanismos de consultaa los actores sociales que incluyen, adems de los empleadores y trabajadores, arepresentantes de las comunidades involucradas en la formacin, autoridadeslocales y delegados de otras instituciones educativas o de promocin social y a lasdependencias pblicas asociadas a los programas de formacin.

    Esta representacin variada convoca a quienes, de un modo u otro, son protagonistas ose benecian de las intervenciones formativas, ya sea para mejorar sus competencias,para incrementar la productividad de sus empresas o facilitar el desarrollo de empleosproductivos en sus comunidades.

    3.3. Cul es el rol del Estado en la promocin del dilogo social para laevaluacin de impacto de la formacin profesional?

    Hay un acuerdo sobre el rol del Estado (nacional, territorial, local) como responsablede crear, en consulta con los interlocutores sociales, un marco propicio para satisfacerlas necesidades presentes y futuras de las personas, las empresas y la sociedad todaen materia de competencias, relacionando stas con la productividad, el empleo,el desarrollo y el trabajo decente, promoviendo la articulacin entre la demandaactual y futura del mercado de trabajo con los requerimientos de calicaciones34.

    Por ende, las autoridades gubernamentales deben favorecer el dilogo social en susdiferentes formas, buscando que sean las ms apropiadas de acuerdo a los colectivosa los que se dirigen las polticas pblicas.

    Los gobiernos deben incorporar la evaluacin en las discusiones tripartitas y otros forospolticos. La evaluacin es slo uno de los varios factores que inciden en las decisionespolticas; por esta razn, los evaluadores deben reconocer que no slo es muy tilsuministrar informacin para los debates acerca de la formacin, sino que sta debeser vlida, conable y comprensible para todos quienes estn interesados en ella.

    Tambin compete a los gobiernos fortalecer, fomentar y brindar asistencia tcnicaa los interlocutores sociales para que stos participen activamente y lleven adelante

    sus propios procesos de evaluacin de las acciones que implementan.

    3.4. Cmo participan los interlocutores sociales en la evaluacin deimpacto?

    En tanto la evaluacin estimula el debate pblico sobre los resultados de la formaciny el desarrollo de competencias, la participacin de los interlocutores sociales resultaindispensable. Su participacin, tanto en la formacin como en la evaluacin, permitevericar que se tengan en cuenta las necesidades de las personas, y tambin que seconvoquen e incluyan los grupos vulnerables.

    34 Conclusiones sobre las calicaciones para la mejora de la productividad, el crecimiento del empleoy el desarrollo. Op. cit.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    35/11034

    Gua para la evaluacin de impacto de la formacin

    PARTICIPACIN DE LOS INTERLOCUTORES SOCIALES EN LA FORMACINY LA EVALUACIN DE IMPACTO

    ANLISIS YDECISIONES

    DISEO INFORMACIN

    EVALUACINFORMACIN

    DISEO GESTIN

    PROCESO DE FORMACIN Y DESARROLLO COMPETENCIAS

    EVALUACIN DE IMPACTO

    Interlocutoressociales

    Es importante hacer transparentes los procesos de evaluacin por lo que es tilestablecer medidas de acceso por parte de los actores sociales a la informacin

    estadstica y cualitativa de los distintos programas de formacin y, fundamentalmente,a los resultados de la evaluacin. Tambin es necesario implementar mecanismos dediseminacin de informacin y promocin de la capacitacin dirigida a los actorespara elevar la calidad tcnica de las propuestas y los debates sobre los resultados dela evaluacin y su incidencia en futuros programas.

    Por otra parte, en la evaluacin es fundamental la transparencia y la ausencia deposturas ideolgicas rgidas o de terminologa poco accesible o demasiado tcnica.Es preciso, igualmente, que los resultados sean imparciales y que no tiendan a justicarposiciones polticas o a satisfacer a quienes nancian la formacin35.

    35 Grubb, W. Norton; Ryan, Paul. Op. cit.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    36/11035

    EJE

    3

    Gua para la evaluacin de impacto de la formacin

    3.5 Cules son los desafos para la efectiva participacin de los interlocutoressociales?

    La participacin activa de los interlocutores sociales en los espacios institucionalizadosde dilogo social en torno a la evaluacin de impacto de la formacin plantea una

    serie de desafos, tales como: incrementar la sensibilizacin sobre la importancia de la formacin

    profesional;

    difundir la conveniencia de evaluar el impacto de la formacin;

    profundizar en el estudio de indicadores sobre los efectos de la formacin en lasociedad, las empresas y los trabajadores;

    aumentar los recursos destinados a la evaluacin de impacto de la formacin;e,

    implementar acciones formativas para todos aquellos que participan en el

    dilogo, acerca de la necesidad de la formacin y de su evaluacin.

    Las competencias que deben fortalecerse para tal participacin activa son, entreotras:

    capacidad de interpretar el contexto econmico y social,

    trabajo en equipo,

    comunicacin efectiva,

    toma de decisiones basada en anlisis,

    imparcialidad, bsqueda de la objetividad en las valoraciones, manejo tico de la informacin.

    MATERIAL DE APOYO A ESTE EJEwww.oitcinterfor.org

    Conocimiento asociado

    1. Trabajo decente en las Amricas: Unaagenda hemisfrica 2006-2015. OIT.

    2. Aspectos clave del dilogo social nacional:un documento de referencia sobre el dilogosocial - Programa InFocus sobre DilogoSocial, Legislacin y Administracin delTrabajo. OIT, 2004.

    3. Conclusiones sobre la formacin y eldesarrollo de los recursos humanos. OIT.CIT, 88 reunin, 2000.

    4. Recomendacin 195 sobre el desarrollo delos recursos humanos. OIT, 2004.

    Experiencias y aplicaciones

    1. Caso: Consejo Sectorial Tripartito deCertificacin de Competencias y FormacinContinua de la Industria de la Construccin.Argentina, 1993-2011.

    2. Resumen de la Evaluacin. Modernizacinlaboral de la industria del azcar en Mxico.2010.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    37/110

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    38/11037

    Gua para la evaluacin de impacto de la formacin

    Eje 4

    Cmo evaluar el impacto

    de la formacin?

    Este eje se ocupa de los aspectos tcnicos de la evaluacin de impacto; planteaqu son y cmo se construyen indicadores de impacto y describe los mtodoscuantitativos y cualitativos de evaluacin con sus respectivas caractersticas, etapasy requerimientos tcnicos.

    Este documento se ha diseado como una herramienta de acceso al conocimiento

    para todos los interesados en la medicin del impacto de la formacin.

    Objetivos:

    Al nalizar este eje el lector podr:

    Identicar la importancia y caractersticas del uso de indicadores en laevaluacin.

    Diferenciar entre los distintos mtodos de evaluacin.

    Entender la importancia de su aplicacin segn las caractersticas de losprogramas a evaluar.

    Manejar las caractersticas del anlisis de ecacia y de eciencia.

    Qu sony cmo se

    construyen losindicadores en

    la evaluacin deimpacto?

    En quconsiste laevaluacinde impacto

    con mtodoscuantitativos?

    En quconsiste laevaluacinde impacto

    con mtodoscualitativos?

    Por qu esimportantecombinar

    los mtodoscuantitativos y

    cualitativospara evaluar elimpacto de laformacin?

    Cmo seanalizan laeficacia yeficiencia?

    Cmo evaluarel impacto de la

    formacin?

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    39/11038

    Gua para la evaluacin de impacto de la formacin

    4.1 Qu son y cmo se construyen los indicadores en la evaluacin deimpacto?

    Un indicador es una comparacin entre dos o ms tipos de datos que sirve paraelaborar una medida cuantitativa o una observacin cualitativa. Esta comparacin

    arroja un valor, una magnitud o un criterio, que tiene signicado para quien loanaliza.

    Los indicadores se utilizan en diversos mbitos. Un ejemplo bsico de indicador es elporcentaje. Otros indicadores comunes pueden ser la tasa de empleo, la tasa dedesempleo, la tasa de actividad, la tasa de informalidad, por mencionar algunos.

    EJEMPLO DE UN INDICADOR TPICO

    Tasa dedesempleo

    Poblacin desocupadaX 100Poblacin Econmicamente Activa=

    Una de las ventajas de utilizar indicadores es la objetividad y comparabilidad;representan un lenguaje comn que facilita una medida estandarizada. Sonherramientas tiles porque permiten valorar diferentes magnitudes como, porejemplo, el grado de cumplimiento de un objetivo o el grado de satisfaccin de unparticipante en la formacin.

    Los indicadores por lo general, se construyen con informacin cuantitativa, no

    obstante y de modo creciente, se usan indicadores cualitativos.

    Un indicador debe ser construido con un claro criterio de utilidad, para asegurar ladisponibilidad de los datos y resultados ms relevantes en el menor tiempo posible ycon un menor costo. Tambin es necesario elaborar indicadores que den cuenta detodas las dimensiones sobre las cuales el programa o las acciones de formacin sehan propuesto intervenir. Siguiendo lo planteado en el eje 2 Conceptualizacin, losindicadores podran describir los resultados, efectos e impactos en las personas, lasempresas y la sociedad.

    4.1.1. Qu tipos de indicadores se utilizan y para qu?

    Como se vio en el eje 2 Conceptualizacin, la inversin en una accin de formacinorigina una cadena de resultados, efectos e impactos. Para cada una de las etapasde la cadena se pueden denir indicadores.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    40/11039

    EJE

    4

    Gua para la evaluacin de impacto de la formacin

    Indicadores de gestin

    Se utilizan para realizar el monitoreo de los procesos, de los insumos y de las actividadesque se ejecutan con el n de lograr los productos especcos de una poltica oprograma36.

    Ejemplos de indicadores de gestin:

    Qu mide? Cmo se elabora?

    Costo hora de formacinValor presupuesto ejecutado

    Horas de formacin aplicadas

    Costo alumno en formacinValor presupuesto ejecutado

    Nmero de participantes en formacin

    Nmero de participantes por docenteTotal par ticipantes

    Nmero de docentes

    Relacin de personal administrativo a personal docente

    Nmero de funcionarios administrativos

    Nmero de funcionarios docentes

    Nmero de participantes por cada espacio de formacinTotal de par ticipantes

    Nmero de espacios de formacin

    Nmero de computadoras disponibles por cada participanteTotal de computadoras

    Nmero de participantes

    Indicadores de resultado o producto

    Relacionan los bienes y servicios generados por la accin de formacin; resultan delas actividades de transformacin de los insumos y generan un incremento en los

    productos aplicables a la formacin.Ejemplos de indicadores de resultado:

    Qu mide? Cmo se elabora?

    Variacin en cupos de formacin creados Cupos despus cupos antes

    Cupos antesX 100

    Variacin en diseos curriculares elaborados Nmero diseos despus nmero diseos antesNmero de diseos antes

    X 100

    Variacin en normas de competencia redactadas Nmero normas despus nmero normas antesNmero de normas antes

    X 100

    Variacin del nmero de docentes disponibles Nmero docentes despus nmero docentes antes

    Nmero de docentes antesX 100

    Variacin del nmero de horas para formacin Nmero horas despus nmero horas antesNmero de horas antes

    X 100

    36 Los datos que se comparan en los indicadores cuantitativos reciben el nombre de variables

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    41/11040

    Gua para la evaluacin de impacto de la formacin

    Indicadores de efecto

    Se reeren a las consecuencias inmediatas de la formacin y desarrollo decompetencias sobre las personas, las empresas o la sociedad. Representan elencuentro de las acciones formativas con la demanda de los participantes.

    Algunos indicadores de efectos:

    Qu mide? Cmo se elabora?

    Tasa de participantes matriculados Nmero de matrculasNmero de cupos ofrecidos

    Tasa de participantes certificados Nmero de certificadosNmero total de participantes

    Tasa de par ticipantes que realizan pasantas en empresas Nmero de pasantes

    Nmero total de participantes

    Tasa de abandono de la formacin Nmero de abandonos

    Nmero total de participantesTasa de proyectos de creacin de empresas elaborados Nmero proyectos de creacin de empresas

    Nmero total de proyectos

    Indicadores de impacto

    Representan el cambio esperado en la situacin de los participantes una vez que laformacin se lleva a cabo. Usualmente se pueden medir en perodos de mediano olargo plazo debido a que se requiere un lapso de tiempo para que se puedan medirel mejoramiento de los ingresos, las condiciones de trabajo, la empleabilidad y losdems impactos mencionados en el eje 1 Contexto.

    Algunos indicadores de impacto:

    Qu mide? Cmo se elabora?

    Variacin de los ingresos Ingresos despus ingresos antesX 100Ingresos antes

    Variacin en la situacin de empleo Tasa de desempleo despus Tasa desempleo antes

    Incremento de la productividad Tasa productividad despus Tasa productividad antes

    Disminucin de los accidentes de trabajo Tasa accidentes despus Tasa de accidentes antes

    Mejoramiento de la salud Cuidado de la salud despus Cuidado de la salud antes

    Tasa de retorno personal por unidad inver tida Ingresos nuevos generadosX 100Costo aprendizaje

    Tasa de retorno global por unidad invertida Ingresos nuevos totales generadosX 100

    Costo aprendizaje

    Los indicadores de impacto:

    Expresan los cambios a partir de las acciones de formacin. Deben permitir lacomparacin con la situacin anterior a la implementacin del programa y enlos sucesivos cortes evaluativos programados. Para ello es necesario disponerde la llamada lnea de base y los momentos de evaluacin intermedia, naly de impacto.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    42/11041

    EJE

    4

    Gua para la evaluacin de impacto de la formacin

    Reejan cambios observados en la poblacin objetivo (salarios, empleo,proteccin social) as como de situaciones expresadas cualitativamente(satisfaccin, salud, bienestar).

    Se denen desde el diseo de las acciones de formacin37y, de esa manera,

    se garantiza su solidez y conabilidad. Deben buscar el retorno econmico de la formacin para poder demostrar la

    utilidad del esfuerzo realizado.

    Deben ser vlidos, es decir comprobar efectivamente aquello que se pretendemedir.

    Deben ser conables. Su valor no depende de quien lo mida pues las variacionesque reeja son efectivamente encontradas en la realidad.

    Pueden ser cuantitativos y cualitativos, estos ltimos estn basados en lapercepcin o el grado de conviccin del participante sobre una cierta

    situacin.En el anexo 2 se incluyen criterios para la elaboracin de indicadores, en los anexos3, 4 y 5 se incluyen ejemplos de aplicacin.

    En la evaluacin de impacto se utilizan mtodos cuantitativosy cualitativos, no sonmtodos excluyentes y se suelen utilizar en forma combinada, dependiendo de lascaractersticas del programa a evaluar, del tipo de participantes y del enfoque deevaluacin diseado.

    ENFOQUES UTILIZADOS EN LA EVALUACIN DE IMPACTO

    Experimental

    Semi-experimental

    No experimental

    Estudio de casos

    Anlisis contextualMtodoscualitativos

    Mtodoscuantitativos

    Evaluacinde impacto

    4.2 En qu consiste la evaluacin de impacto con mtodos cuantitativos?

    El mtodo cuantitativo busca vericar la relacin de causalidad entre la accin deformacin y sus impactos. Al efecto, utiliza la informacin contenida en los objetivosdel programa y, con base en la informacin recolectada, establece el grado en que

    los objetivos se alcanzaron, mediante un indicador.

    37 Usualmente los indicadores se denen en herramientas de planicacin como el marco lgico muy utilizado enel diseo de proyectos.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    43/11042

    Gua para la evaluacin de impacto de la formacin

    Por ejemplo, entre los objetivos de un programa de formacin de jvenes se puedenmencionar: mejorar la empleabilidad de los participantes, acortar el tiempo dedesempleo una vez nalizada la formacin, facilitar la continuidad de la formacindel participante.

    La medicin del impacto debe corroborar que, debido a las acciones de formacinejecutadas, los participantes en el programa experimentaron los cambios en lascondiciones que se haban establecido como objetivos.

    El siguiente grco representa la lgica implcita en la evaluacin de impacto; lasituacin de los participantes cambia entre el comienzo y el nal de la ejecucin dela accin de formacin. El impacto es la diferencia entre la situacin con formaciny sin formacin. La pregunta central que ejemplica este enfoque es: Cul hubierasido la situacin de los participantes, si ellos no hubiesen recibido la formacin?

    Representaciones de los impactos de las acciones de formacin

    Situacininicial

    Situacinfinal

    Impactos

    }

    Conformacin

    Sin

    formacin

    Dentro de las evaluaciones de impacto con mtodos cuantitativos, se disponede tres tipos de diseo que pueden integrarse para construir una evaluacin mseciente en funcin de las caractersticas de cada caso. Los diseos ms usualesson el experimental, el semi-experimental y el no experimental; a continuacin sedescribir cada uno.

    4.2.1. Diseo experimental

    Como su nombre lo indica, estos modelos hacen uso de condiciones de experimento38para conformar el grupo de participantes y el de control. Las condicionesexperimentales imponen que, tanto los participantes como los integrantes del grupode control se elijan mediante un sorteo, es decir con un procedimiento aleatorio.Esta seleccin implica que quienes integren el grupo de control no son invitados aingresar en el programa. Luego de construidos los grupos se realizan comparacionesde la situacin antes y despus, mediante el uso de los indicadores. El impacto seestablece a partir de los cambios encontrados en las mediciones entre el grupo de

    participantes comparado con el grupo de control.38 En ciencias sociales, un experimento implica una comparacin sistemtica de ciertos grupos con otros que son

    similares en los aspectos ms relevantes, o con el mismo grupo en diferentes momentos del tiempo, con el objetivode determinar el efecto o inuencia de algn evento o intervencin. Navarro. 2005.

  • 7/25/2019 Gua Evaluacin Impacto de La Formacin

    44/11043

    EJE

    4

    Gua para la evaluacin de impacto de la formacin

    Este enfoque utiliza tcnicas de comparacin estadstica para establecer la relacincausa-efecto entre la accin de formacin y los cambios que se produjeron en losparticipantes. Una caracterstica fundamental es que el impacto se mide en trminoscomparativos entre los participantes y los no participantes. Al efecto se recurre aun grupo similar (grupo de control) que no haya participado de las acciones y po