LINEAMIENTOS!METODOLÓGICOS! • Flujos!de!información.! Socialización y capacitación • Capacitación! • Socialización! • Divulgación!!! 6! · 2014-6-5

0

LINEAMIENTOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DE UNA

BATERÍA DE INDICADORES DE SEGUIMIENTO Y EVALUACIÓN

Sistema de Información para la Planeación del SENA – SIPSENA

Carmelita Serna Ríos [email protected] – [email protected]

Descripción breve Este documento presenta los lineamientos metodológicos para la construcción de la batería de

indicadores iniciales del SIPSENA. El marco conceptual utilizado sigue las metodologías propuestas por el DANE para este tipo de ejercicio. De forma simultánea se va presentando la

aplicación de estos lineamientos en los indicadores de Acreditación en el marco de la Política de Alta Calidad del SENA.

VERSION: 30 mayo 2014

1

Carmelita Serna Ríos | CONTRATO 458 2014

CONTENIDO Lineamientos Metodológicos Para La Construcción de una Batería de indicadores de Seguimiento y Evaluación. ........................................................................................................................................................ 2

1. Marco Conceptual de la Batería de Indicadores. ......................................................................................... 2

2. Sistemas de Seguimiento y Evaluación ........................................................................................................ 3

3. Fases para la Estructuración de la Batería de Indicadores 2014. ................................................................ 5

3.1. Planeación: ...................................................................................................................................... 5

3.2. Marco normativo y requerimientos de información. ...................................................................... 7

3.3. Diseño estructura -‐dimensiones o componentes de medición. ...................................................... 7

3.4. Recolección y validación De La información. ................................................................................... 8

3.5. Método de La recolección de información. ..................................................................................... 8

3.6. Análisis de calidad de la información disponible. ............................................................................ 9

3.7. Selección de indicadores -‐ documentación (hojas de vida). .......................................................... 11

3.8. Sociabilización y capacitaciones. ................................................................................................... 15

2

LINEAMIENTOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DE UNA BATERÍA DE INDICADORES DE SEGUIMIENTO Y EVALUACIÓN | Sistema de Información para la Planeación del SENA – SIPSENA

LINEAMIENTOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DE UNA BATERÍA DE INDICADORES DE SEGUIMIENTO Y EVALUACIÓN. Una de las metas de corto plazo planteadas en el Sistema de Información para la Planeación del SENA -‐SIPSENA, es la construcción de una batería de indicadores para el 2014 que permitan cumplir dos objetivos: por una parte, hacer seguimiento, evaluación y rendición de cuentas a las políticas públicas, planes, programas y proyectos del cierre de período de gobierno; por la otra, consolidar el ajuste a las líneas estratégicas que faciliten y encausen la formulación del nuevo Plan de desarrollo hacía una política de Acreditación y Alta Calidad.

La línea base de indicadores tiene un doble mérito: por un lado, proporcionará a los directivos del Sena información complementaria necesaria, útil a la vez como punto de apoyo en la toma de sus decisiones, y como material clave para medir y evaluar el desempeño o impacto de esas decisiones en el 2014; de otro lado, adicionalmente introduce criterios objetivos de referencia y utilidad para que los Centros de Formación puedan ellos mismos medirse entre sí. Si bien estos primeros indicadores trabajan las dimensiones o temáticas de la acreditación, la forma como fue pensada y la metodología utilizada contribuyen positivamente en la cultura de la medición, el seguimiento, evaluación, organización y manejo de la información. Así las cosas, su utilidad no sólo se reduce al uso de los indicadores, y por tanto el ejercicio de medición tiene un alcance mayor.

Así las cosas, aunque el objetivo principal de este trabajo es el de servir de guía y apoyo al seguimiento, evaluación, y rendición de cuentas de las políticas públicas, con información agregada, oportuna y confiable para la toma decisiones, también contribuye a la consolidación de una cultura de uso y aprovechamiento de la información, mediante el manejo permanente de indicadores claves. Así mismo, y como complemento de lo anterior, permitirá ir posicionando las nuevas apuestas estratégicas del SENA en la agenda de gobierno con base en el acopio de documentación e información básica necesaria para la formulación, estructuración y elaboración del Plan de Desarrollo del periodo 2014-‐2018.

1. MARCO CONCEPTUAL DE LA BATERÍA DE INDICADORES. Como ya se había conceptuado en el documento de Indicadores en el mes de marzo, el mayor desafío que se enfrenta cuando se dispone de un número extenso de datos es seleccionar de ellos los más útiles, dejar los menos e irrelevantes, o contradictorios, para de esta manera asegurarse que la evaluación a hacerse se realice apoyados en la mejor información posible.

La información estadística puede ser usada de muchas maneras. La construcción de indicadores es una de tantas posibles y es una de las más usadas debido a su sencillez y amplitud de información que se recoge en un solo indicador; dicha modalidad, es por eso una de las formas más simples y usuales de disponer de información: numerosos datos se simplifican en un indicador y éste se vuelve información simplemente por su enorme capacidad para comunicar y condensar mucho en poco. Recordemos la definición de indicador “como una expresión cualitativa o cuantitativa observable, que permite describir características, comportamientos o fenómenos de la realidad a través del establecimiento de una relación entre variables, que comparada con períodos anteriores, productos similares o una meta o compromiso, permite evaluar el desempeño y su evolución en el tiempo”.

Es importante recordar las tres características básicas que deben cumplir los indicadores y que los convierten en herramientas indispensables para la planeación, seguimiento, evaluación y la gestión:

3


Deben ser Simples: o sea, ser capaces de representar clara y distintamente aspectos concretos de la realidad compleja que sirven para el doble propósito de definirla y medirla; no pretender abarcar con ellos la amplia bastedad del mundo real.

Deben ser Mesurables: o sea, ser capaces de establecer relaciones con otros fenómenos, o permitir comparaciones intertemporales de un mismo conjunto de fenómenos.

Deben ser Generadores de mensajes: o sea, ser capaces de transmitir información simple y sencilla para la toma de decisiones y evaluación de las acciones.

Por lo anterior, los indicadores diseñados cumplirán los siguientes objetivos:

ü Generar información útil como incentivo y ayuda al mejoramiento continuo de los procesos institucionales de la toma de decisiones públicas, y su respectiva evaluación de resultados.

ü Establecer los cambios de una situación a otra para saber si se ha mejorado o no, cambios no determinables sin medición alguna.

ü Efectuar seguimiento y evaluación a los planes, programas y políticas que introducen cambios institucionales y ver los correctivos por hacer hacia una mayor y mejor eficiencia y eficacia institucional.

2. SISTEMAS DE SEGUIMIENTO Y EVALUACIÓN Los procesos de seguimiento y evaluación son aspectos característicos a seguir de la administración moderna basada en resultados. Según OECD (2002) el seguimiento es una “función continua que utiliza la recolección sistemática de datos los convierte en indicadores específicos para medir el grado de avance y logros de objetivos y progresos en la utilización de fondos asignados”. A su vez, la evaluación en el informe citado se concibe como “la valoración o estimación sistemática y objetiva de un plan, programa proyecto o política en curso o terminada, comprendiendo su diseño, ejecución y resultados. Lo que se busca es determinar la relevancia y satisfacción de los objetivos, la eficiencia del desarrollo, su efectividad, impacto y sostenibilidad. La evaluación debe proporcionar información creíble y útil, permitiendo incorporar las lecciones aprendidas de todos los actores involucrados”.

Ahora bien, hacer un uso adecuado de esas herramientas de la administración moderna, hacerle seguimiento a los programas y políticas del sector público para valorar sus resultados y sacar experiencias positivas y negativas, debe contar con un buen sistema de información estadístico no sólo como instrumento que haga efectiva dichas estrategias, sino también, como se indicó, como medio sin el cual no se puede formular, ni fundamentar adecuadamente con rigor y claridad suficientes las políticas que se desean adoptar; como tampoco tener una visión de conjunto del proyecto a realizar, de sus limitaciones y alcances. Resaltamos e insistimos en que los programas y proyectos públicos, su formulación, fundamentación, objetivos, implementación, control, seguimiento evaluación de los mismos, implican la valoración y medición de una realidad que es multidimensional, por lo que se hace aún más relevante la elaboración de conjuntos de indicadores que analicen el comportamiento de todas las variables de estudio. Un sistema de indicadores debe permitir extraer una foto del estado del fenómeno en un momento del tiempo y un video que registre los cambios presentados en las temporalidades del seguimiento y evaluación.

4


El diagrama No.1 muestra el papel de los indicadores línea base como herramienta de seguimiento y evaluación. La línea base es la primera evaluación de las dimensiones a transformar y se constituye en el punto de partida y eje de comparación de cada una de las siguientes fases o etapas sucesivas del diagrama, a saber: seguimiento, (lo que aparece en los rectángulos del diagrama con los nombres de Seguimiento, Evaluación de resultados, y Evaluación de impacto). En este sentido, los indicadores de la línea base se constituyen en últimas en el referente obligado de Control de la gestión administrativa, en función de las herramientas y sucesivas etapas señaladas en el diagrama.

Diagrama No.1 Papel de los primeros indicadores en los sistemas de seguimiento y evaluación

Fuente: DANE – Línea Base de Indicadores. Bogotá Diciembre de 2012.

El ejercicio, propuesto por la Dirección de Planeación y Direccionamiento Corporativo en el Plan de Acción 2014, enmarcado dentro de la política de Alta Calidad del SENA, contempla la construcción de una batería de indicadores1 que contribuye a:

ü Identificar indicadores claves de uso obligado para la planeación, el seguimiento, la evaluación, el control y el mejoramiento continuo del SENA, en el marco de la nueva visión estratégica.

ü Organizar las bases de datos conforme a las necesidades de información identificadas para la producción de indicadores.

ü Definir las técnicas y los procedimientos estandarizados que garanticen la obtención de la información requerida y que puedan posicionarse en la organización.

ü Establecer funciones y compromisos en relación con los requerimientos de la información.

Es de advertir que la construcción de la Línea base así como de sus primeros indicadores, en el marco del SIPSENA, debe ir complementada con otros ejercicios estadístico para reforzar la información en materia de planificación estadística, estandarización de conceptos y mejoramiento de los registros administrativos. Los indicadores de la Línea base así como los complementarios señalados, constituyen la plataforma para la generación de un sistema de seguimiento y evaluación.

1 Esta construcción será gradual y progresiva. A la fecha de elaboración de este documento se disponía de 25 indicadores ya en producción y 3 en proceso de construcción.

5


Como se dijo anteriormente, en coherencia con los objetivos propios de seguimiento y evaluación, dichos indicadores deben permitir tres finalidades sustantivas, a saber: a) Examinar la dinámica o el comportamiento del indicador a través del tiempo, evidenciando los cambios que en el mismo puedan darse; b) Comparar dichos cambios frente a unas variables objetivo deseadas; y, finalmente c) Identificar las situaciones que requieren mayores cambios y establecer pautas para el mejoramiento de la calidad de los servicios prestados por la Entidad.

3. FASES PARA LA ESTRUCTURACIÓN DE LA BATERÍA DE INDICADORES PARA LA ACREDITACIÓN INSTITUCIONAL.

Considerando entonces que la batería de los indicadores 2014 tiene como objetivos principales el de facilitar el seguimiento y evaluación de la gestión global del SENA en el 2014, así como el de proporcionar instrumentos claros y precisos a los Centros de Formación y Regionales para promover la excelencia y alta calidad de los procesos y servicios suministrados por la Entidad, la definición, naturaleza, estructura conceptual e implementación de esos indicadores iniciales, siguieron un orden de elaboración que contempló, además de dar cumplimiento al protocolo habitual interno de participación institucional, determinar los lineamientos establecidos por la literatura especializada para este tipo de construcciones. Para el caso particular que nos ocupa, se aplicaron los criterios establecidos por el DANE, según los cuales en conjunto deben seguirse seis pasos básicos, tal como se muestra en el diagrama No.2:

Diagrama No.2 Fases a seguir en la construcción de indicadores

Fuente: DANE – Línea Base de Indicadores. Bogotá Diciembre de 2012.

3.1. PLANEACIÓN: Este primer momento del proceso de construcción de los indicadores Línea base, permitió orientar a los directivos y técnicos de la entidad sobre la importancia de los mismos para el proceso de seguimiento y evaluación de sus políticas, planes, programas y proyectos, así como el de definir su rol integral en el

Planeación

• Objelvos y alcance de la línea base. • Grupo técnico de coordinación y equipos de trabajo. • Compromisos y acuerdos. • Plan de aclvidades y cronograma.

Marco Normativo y requerimientos de información

• Idenlficación de necesidades de información relacionadas con las normas, leyes, decretos, etc.

• Relación de información implícita en la norma y responsabilidades insltucionales. • Relación de requerimientos puntuales de información en instancias de decisión.

Diseño estructura -dimensiones o

componentes de medición

• Estructura temálca de la línea base (temas y subtemas)

Recolección, validación de información

• Revisión y ajuste del proceso de obtención de datos . • Recomendaciones de mejoramiento de la información. • Listado preliminar de indicadores. • Flujos de información.

Socialización y capacitación

• Capacitación • Socialización • Divulgación

6


proceso. Así mismo, se determinaron las obligaciones de los responsables de su elaboración como los resultados esperados de ellos; y fijando además puntualmente las respectivas funciones y compromisos que deberían asignársele a cada uno de los funcionarios participantes de su en su construcción en sus diferentes etapas de recolección, producción, análisis y difusión de los resultados.

La planeación contempló la identificación de los distintos escenarios posibles y deseados, cotejando necesidades, magnitud de las acciones por realizar y disponibilidad de los recursos (financieros, presupuestales, humanos, tecnológicos, etc.). En la fase inicial del trabajo, relacionada con la conceptualización, el diseño y la primera construcción de indicadores, se conformó un equipo temporal liderado por un Asesor, un equipo básico y una amplia participación de los Directores Misionales, Subdirectores Regionales y Directores de Centros de Formación2; y en una segunda fase, la relacionada con la producción de los indicadores en su versión definitiva, se espera que su realización este bajo la responsabilidad y ejecución de la coordinación de Gestión de Información y Evaluación de Resultados de la Dirección de Planeación y Direccionamiento Corporativo. Es de advertir que la estructura y objetivos previstos involucran de manera decisiva a los Subdirectores Regionales y Directores de los Centros de Formación en la producción y análisis de estos indicadores.

Los resultados obtenidos en esta etapa fueron los siguientes:

ü Definición de los objetivos y alcance de la línea base. ü Definición del grupo técnico de coordinación y equipos de trabajo. ü Definición de Compromisos y Acuerdos. ü Definición del Plan y Cronograma de actividades. ü Estrategia Institucional para la construcción de los indicadores

El diagrama siguiente muestra los pasos desarrollados y la ruta de trabajo que permitió el desarrollo de la estrategia institucional, el método utilizado y la participación de las diferentes dependencias en el diseño de la metodología y los indicadores.

Diagrama No.3 Etapas de la Estrategia institucional en la construcción de indicadores

Fuente: SENA – Agenda Regional para la Alta Calidad, Bogotá, Mayo 2014.

2 Ver documento “AGENDA REGIONAL PARA LA ALTA CALIDAD” que relaciona la metodología de trabajo con las Regionales y los Centros de Formación y el listado de reuniones efectuadas en marco del diseño y producción estadística de los indicadores para la Acreditación y la Política de Alta Calidad.

7


3.2. MARCO NORMATIVO Y REQUERIMIENTOS DE INFORMACIÓN. En la segunda fase para la construcción de los indicadores, se consultó el marco normativo y las necesidades de información, analizando la pertinencia de la construcción y estudio de los indicadores, los cuales progresivamente se fueron definiendo, según las siguientes consideraciones:

ü Teniendo en cuenta las leyes, decretos, resoluciones, directivas y circulares. ü Teniendo en cuenta los requerimientos para el cumplimiento de acuerdos internacionales. ü Teniendo en cuenta las demandas externas e internas como requerimiento del orden nacional,

regional o local, y expectativas del ámbito internacional. ü Teniendo en cuenta los planes misionales, de acción y de desarrollo. ü Teniendo en cuenta las políticas de alta calidad del SENA.

Junto al diseño conceptual de los indicadores, se efectuó el análisis de los requerimientos de información subordinado al marco normativo, para lo cual se revisaron las normas y leyes que ordenan la misión, políticas, planes, programas, proyectos y acción institucionales vigentes; la responsabilidad en la producción de información y los objetivos de la alta calidad Institucional.

Los resultados obtenidos en esta etapa fueron:

ü Identificación de las necesidades de información relacionadas con las normas, leyes, decretos, etc. ü Identificación de la información implícita requerida en la normatividad existente y responsabilidades

institucionales en la consecución de la misma. ü Identificación de la información puntual requerida por instancias superiores para la toma de sus

decisiones. En esta primera fase, todas relacionadas con la Política de alta calidad de la Entidad.

3.3. DISEÑO ESTRUCTURA -‐DIMENSIONES O COMPONENTES DE MEDICIÓN-‐. La tercera fase estructuró las áreas temáticas de los indicadores, concebidos en coherencia con el deber misional institucional, con los documentos estratégicos de la Entidad y con la normatividad vigente. Esta fase fue fundamental ya que permitió, además de concretar la primera batería de indicadores, plantear objetivos y metas temáticamente bien definidas que los mismos permitan analizar en aquellos temas y subtemas relevantes para la Institución, en particular para la implementación de su Política de Alta Calidad. La conceptualización así concebida proporcionó los criterios para evaluar y definir los indicadores requeridos, a fin de hacer seguimiento y evaluación a cada uno los temas y subtemas seleccionados.

Como resultado de esta fase, se determinaron los componentes a medir en concordancia con la Política de alta calidad, e identificar al interior de la misma los temas y subtemas relevantes. Las dimensiones seleccionadas se presentan en la tabla No.1, así:

Tabla No.1: Dimensiones o factores relevantes para la construcción de la batería de indicadores.

8


Fuente: SENA. Indicadores Política de Alta Calidad, primer grupo de indicadores.

Plan de Acción 20143

3.4. RECOLECCIÓN Y VALIDACIÓN DE LA INFORMACIÓN. En esta fase se identificó la oferta disponible y las necesidades de indicadores en relación a los objetivos de seguimiento, evaluación y búsqueda de la excelencia para alcanzar la alta calidad en los Programas de formación técnica de la Entidad. La fase en mención se llevó a cabo en dos momentos, a saber: en el primero, se hizo un ejercicio general y focalizado al tema de la “Acreditación de alta calidad”, el cual permitió la conceptualización y conformación del primer grupo de indicadores; y en el segundo momento, aún en proceso de implementación, se busca alcances mayores a la “Acreditación de alta calidad”, cubriendo los requerimientos de la oferta y las necesidades del Sistema de Información para la Planeación del SENA –SIPSENA-‐ y de las perspectivas del nuevo Plan de Desarrollo.

El primer momento de la fase que se está comentando, fue desarrollado directamente por el equipo de trabajo asignado para la conceptualización, diseño y construcción del primer grupo de indicadores. El segundo momento, como se indicó aún en proceso de implementación, viene siendo desarrollado con una participación mayor de funcionarios, ya que se amplió involucrando al resto del equipo de la Dirección de Planeación y Direccionamiento Corporativo –DPDC-‐ del SENA. La metodología utilizada está documentada en el SIPSENA, y como componente de ésta se diseñó un formato para la recolección de la información acerca de la oferta, demanda y demás completos indicadores requeridos por el SENA4.

3.5. MÉTODO DE LA RECOLECCIÓN DE INFORMACIÓN. La recolección del primer momento se hizo a través de visitas, reuniones de trabajo, sondeo de necesidades; y la del segundo momento5, se está haciendo en forma virtual. Una vez acabado el proceso de recolección del primer momento, se organizó la información acopiada y se continuó a las siguientes fases previstas para la construcción de los indicadores de la Línea base.

3 Durante todo el documento se han mencionado 25 indicadores en producción y 3 en proceso de diseño y construcción. La diferencia respecto a los 38 que aparecen en esta tabla se debe principalmente a que en la tabla están contados de forma independiente y los 25 se refieren a grupos de indicadores. Así por ejemplo, para el indicador % de oferta abierta hay dos indicadores, uno con corte trimestral y otro con corte anual. 4 Adaptación realizada a partir del Formulario de Línea Base de Indicadores (FLBI) del DANE. 5 La actividad de recolección de este inventario, en los que hemos denominado segundo momento es de vital importancia ya que proporciona los criterios objetivos para estructurar el segundo grupo de indicadores dentro de la batería de los indicadores iniciales y definir el conjunto de información que debe contener el SIPSENA. Por esta razón es un proceso que debe contar con el compromiso por parte de los encargados o líderes del proyecto –coordinadores de la DPCD, con el fin de asegurar la completitud y calidad de la información diligenciada que requiere el rigor de este proceso.

Dimensión No. Indicadores Formación Profesional 13Instructores 9Infraestructura física y TICs 8Egresados y su impacto en el medio 8Bienestar 4Recursos financieros 3Aprendices 3Investigación aplicada 1Organización y gestión de la información 1Misión Direccionamiento Estratégico y Programa de Formación 1Relaciones Internacionales y Nacionales 1Innovación y desarrollo tecnológico 1Total general 53

9


3.6. ANÁLISIS DE CALIDAD DE LA INFORMACIÓN DISPONIBLE. Conceptualmente, esta fase inicia con la verificación de la información disponible respecto a las dimensiones o factores temáticos desarrollados. Su propósito es la de verificar la existencia de los insumos de información para construir los indicadores requeridos para todos los temas y subtemas seleccionados como relevantes en el proceso de acreditación institucional. Durante el proceso de verificación, se identificó no sólo el estado en que se encuentra la información requerida para la estimación de los indicadores respecto a los estándares de calidad estadística6, sino además debe quedar lista la documentación de evaluación e información estadística, acordes con las dimensiones y patrones de calidad exigidos.

Como actividad complementaria a desarrollar, fue preciso conocer los actores productores y usuarios de los indicadores a fin de establecer un mapa del flujo de información; y con estas personas proceder a concertar acciones para la implementación de la ba tería de indicadores. El ejercicio en mención se debe realizar primero a nivel de cada actor involucrado (unidades, dependencias, entidades, etc.), para luego construir el esquema global de todo el proceso7.

Como resultado de esta etapa han culminado las siguientes actividades, para los primeros indicadores:

ü La revisión y ajuste del proceso de obtención de datos (censos, encuestas por muestreo y estadísticas con fuente en registros administrativos).

ü Las recomendaciones para mejorar la información. ü El listado preliminar de indicadores. ü Los flujos de información.

La tabla No. 2 muestra el primer grupo de indicadores, relacionados con el proceso de “Acreditación de alta calidad”. De acuerdo con ella, el primer grupo de indicadores que fue pensado para un primer ejercicio de 25 indicadores, alcanzó el número de 54 indicadores incluyendo sus desagregaciones.

6 Estos estándares han sido difundidos por organizaciones como EUROSTAT (organismo encargado de administrar las estadísticas europeas), OECD por sus siglas en inglés (Organización para Cooperación y el Desarrollo Económico) y el FMI (Fondo Monetario Internacional). 7 Estas actividades ya fueron surtidas por el primer momento que involucra el primer grupo de indicadores, para el segundo momento, se implementarán una vez culmine el proceso de recolección anunciado en los párrafos anteriores.

10


Tabla No. 2: Listado de Indicadores asociados a las dimensiones o factores

Dimensión ID Nombre IndicadorAprendices 1 SABER PRO (-‐10)

2 SABER PRO (PROMEDIO)3 DEMANDA SOCIAL

Suma AprendicesBienestar 19 DESERCIÓN TITULADA 2014

20 DESERCIÓN COMPLEMENTARIA 201421 DESERCIÓN TITULADA AÑO 201322 DESERCIÓN COMPLEMENTARIA AÑO 2013

Suma BienestarEgresados y su impacto en el medio 9 EGRESADOS OCUPADOS FORMALMENTE (TOTAL)

10 EGRESADOS OCUPADOS FORMALMENTE (TECNICOS)11 EGRESADOS OCUPADOS FORMALMENTE (TECNOLOGOS)13 INGRESO LABORAL DE EGRESADOS (TECNOLOGO)14 INGRESO LABORAL DE EGRESADOS (TECNICO)15 INGRESO LABORAL DE EGRESADOS (TOTAL)29 INSCRITOS EN LA APE30 EMPLEOS FONDO EMPRENDER

Suma Egresados y su impacto en el medioFormación Profesional 12 PRODUCCIÓN DE INVESTIGACIÓN Y DESARROLLO (I+D)

16 ALTERNATIVAS -‐ OTRAS (SERVICIO MILITAR, PASANTÍAS, MONITORÍAS)17 ALTERNATIVAS -‐ CONTRATO DE APRENDIZAJE18 ALTERNATIVAS -‐ NINGUNA26 APRENDICES CON CONTRATO DE APRENDIZAJE32 PRODUCCIÓN DE CENTROS34 TOTAL EDUCACIÓN SUPERIOR35 TOTAL TÉCNICA LABORAL Y OTROS36 FORMACIÓN COMPLEMENTARIA37 FORMACIÓN VIRTUAL38 PROGRAMA DE BILINGÜISMO40 ALTERNATIVAS -‐ NINGUNA52 APRENDICES I + D

Suma Formación ProfesionalInfraestructura física y TICs 27 INDICE ESTADO DE INFRAESTRUCTURA

43 USO DE AMBIENTES44 DENSIDAD SEDE PRINCIPAL45 DENSIDAD TOTAL46 DENSIDAD AMBIENTES DE FORMACIÓN47 APRENDICES POR EQUIPO DE COMPUTO (MAS DE DOS AÑOS)48 APRENDICES POR EQUIPO DE COMPUTO (MENOS DE DOS AÑOS)49 APRENDICES POR EQUIPO DE COMPUTO (TOTAL GENERAL)

Suma Infraestructura física y TICsInnovación y desarrollo tecnológico 50 PROGRAMAS I+D POR CENTRO

Suma Innovación y desarrollo tecnológicoInstructores 4 NIVEL EDUCATIVO INSTRUCTORES POSGRADO

5 NIVEL EDUCATIVO INSTRUCTORES (UNIVERSITARIO)6 NIVEL EDUCATIVO INSTRUCTORES (TECNOLOGO)7 NIVEL EDUCATIVO INSTRUCTORES (TECNICO)8 NIVEL EDUCATIVO INSTRUCTORES (BACHILLER)25 DEDICACIÓN A LA FORMACIÓN39 DEDICACIÓN A LA FORMACIÓN (2)41 EXPERIENCIA DOCENTE42 EXPERIENCIA PROFESIONAL

Suma InstructoresInvestigación aplicada 51 INSTRUCTORES I+D

Suma Investigación aplicadaMisión Direccionamiento Estratégico y Programa de Formación 24 CLIMA ORGANIZACIONAL

Suma Misión Direccionamiento Estratégico y Programa de FormaciónOrganización y gestión de la información 23 PORCENTAJE DE CERTIFICADOS

Suma Organización y gestión de la informaciónRecursos financieros 33 COMPROMISOS

53 APROPIACIONES54 PAGOS

Suma Recursos financierosRelaciones Internacionales y Nacionales 31 PROGRAMAS CON ESTANDARES INTERNACIONALES

Suma Relaciones Internacionales y Nacionales

11


Por su parte, el Diagrama No. 3 muestra el flujo de información y el protocolo establecido en la producción y uso final de los indicadores asociados a la Política de calidad y Acreditación Institucional:

Diagrama No. 3: Flujo de Información y protocolo para el uso final de los indicadores en la búsqueda de Alta Calidad.

Producción -‐Flujo de información

Análisis Mesas de trabajo

Planes de Mejoramiento

Alta Calidad – Excelencia –

Acreditación

Proceso de producción Visores y Reportes Planes de Mejoramiento

Fuente: SENA. SIPSENA. Adaptado, Interpretando el documento de Política de Alta Calidad.

3.7. SELECCIÓN DE INDICADORES -‐ DOCUMENTACIÓN (HOJAS DE VIDA). En esta sección se establece el conjunto de indicadores que conformaran la línea base y su respectiva documentación, conforme a la estructura de fichas técnicas u hojas de vida diseñadas; simultáneamente, se formulan los lineamientos acerca de la construcción y organización de las bases de datos que alimentaran los indicadores.

Solicitud desde Nivel Nacional

Diligenciamiento en Nivel Nacional.

Diligenciamiento en Centros

Envio Nivel Nacional y

desde Centros

Recepción yanálisis Nivel

Central

Producción Nivel Central

Envio a Regionales y Centros

Centros

Reginales

Dirección

General

Planes de Mejoramiento por

Centros y Regionales

Diseño

• Inventario • Dimensiones • Indicadores

Producción

• Insumos de inf. • Formulación • Hojas de Vida • Recolección

Resultados

• Procesamiento • Análisis calidad • PReportes

Visores

Análisis

Mapas

Información toma

decisiones

Flujos

12


Por su parte, el proceso de selección de indicadores definitivo debe realizarse aplicando los siguientes parámetros de calidad estadística8:

ü Relevancia: o grado de utilidad para satisfacer el propósito por el cual fue sugerida su creación. ü Credibilidad: Se evalúa si los indicadores están soportados en procedimientos estadísticos

apropiados; también si los procedimientos de recolección, procesamiento, almacenaje y difusión de datos estadísticos, reúnen los criterios de objetividad requerido.

ü Accesibilidad: Donde se evalúa la manera en que los datos están disponibles. ü Oportunidad: Aquí se evalúa la actualidad del indicador, o sea si el tiempo en el cual se cuenta

con el indicador corresponde al de la información ínsita en él, siendo así ésta valiosa como para trabajar acorde con ella.

ü Coherencia: Así mismo, se evalúa la consistencia y coherencia del proceso estadístico que lo genera, o sea si está sujeto o no a una política de revisión previsible y permanente.

Después de verificar el cumplimiento de los parámetros de calidad exigidos, se debe elaborar la documentación, a través de hojas de vida o fichas técnicas. La hoja de vida contiene una estructura en su formato, la cual permite conocer el metadato de los indicadores o respuesta a las preguntas qué, quién, cuándo, dónde, para qué y cómo, relativas a los contenidos de los datos que se documentan.

Los elementos que conforman la hoja de vida o ficha técnica9 del Indicador se describen a continuación:

CONCEPTO DEFINICION Código y/o Sigla del Indicador Código o sigla del Indicador

Fecha de diligenciamiento y de actualización

Fecha diligenciamiento y actualización de la información disponible.

Nombre del Indicador Es la expresión verbal, precisa y concreta que identifica el indicador

Definición del Indicador Propósito que se persigue con su medición, es decir, describe la naturaleza y finalidad del indicador.

Método de medición Corresponde a la explicación técnica sobre el proceso para la obtención de los datos utilizados y la medición del resultado del indicador.

Unidad de Medida / Tipo de Indicador Unidad con la que se mide el indicador: porcentaje, hectáreas, pesos, etc.

Periodicidad Frecuencia con que se hace la medición del indicador en su expresión total.

Área Temática / Tema Dimensión tema objeto de medición

Dirección/Entidad Dependencia o unidad institucional a la que se refiere el cálculo.

Responsable del Cálculo Entidad(es) y dependencia(s) que tendrá(n) a su cargo la elaboración del indicador.

Responsable del Reporte Entidad(es) y dependencia(s) que tendrá(n) a su cargo la entrega de los insumos para el cálculo del indicador.

Nivel de Desagregación Geográfico Se refiere al nivel geográfico hasta el cual se puede obtener información estadísticamente significativa. Por ejemplo, nacional, departamental,

municipal, entre otras. Nivel de Desagregación Temática Se refiere al nivel de detalle temático hasta el cual se puede obtener

información estadísticamente significativa a partir de los datos disponibles.

8 Estos criterios de calidad estadística están basados en lo propuesto por la OECD en el documento, Quality framework and guideline for OECD statistical activities. 2003. 9 Ver Documento Hojas de Vida de los indicadores diseñados.

13


Fórmula de Cálculo Expresión matemática mediante la cual se calcula el indicador. La fórmula se debe presentar con siglas claras y que en lo posible den

cuenta del nombre de cada variable. Nombre Variable Explicación conceptual de cada uno de los términos utilizados en el

indicador. Explicación de la Variable Descripción de cada variable de la fórmula: Especificación precisa de

cada una de las variables con su respectiva sigla

Fuente de Información Fuente de información de las variables que componen al indicador

Área Responsable de la Información Nombre de las entidades encargadas de la producción y/o suministro de la información que se utiliza para la construcción del indicador y

operación estadística que produce la fuente.

Limitaciones del indicador ¿Qué no mide el indicador? Las limitaciones que el indicador tiene como modelo para medir una realidad a la que es imposible acceder

directamente Observaciones Incluye las reflexiones y recomendaciones que se consideren

pertinentes para la conceptualización y comprensión del indicador además de señalar la bibliografía de referencia o documentales

utilizados para la elaboración de los conceptos Fuente: SENA – Indicadores de Acreditación Institucional 2014

Los resultados de esta fase deben conducir a:

ü Establecer el conjunto definitivo de indicadores que deben ir en la estructura y contenido de la línea base.

ü Construcción de un indicador sintético que permita compilar los resultados para unidades de análisis seleccionadas.

ü Establecer las hojas de vida o fichas técnicas de los indicadores Para el caso de los Indicadores para la Acreditación Institucional, la construcción de los indicadores ha sido gradual y progresiva, por lo que se inició con una batería de 25 indicadores y al cierre de este informe se había diseñado 53 con procesos de recolección activos. Considerando que los indicadores tienen dentro de sus fines servir para el seguimiento y evaluación se hace necesario definir un indicador sintético que permita consolidar en un solo resultado el comportamiento de cada Centro de Formación. De esta forma fue necesario desarrollar un sistema de ponderaciones de acuerdo a la relevancia de cada indicador en el marco de la política de alta calidad.

La tabla No. 3 muestra en su última columna la selección de los indicadores que harán parte del indicador sintético para compilar los resultados por Centro de Formación. Los indicadores que figuran con ponderador completo significan que entran en la agregación con un peso de 1 y los de “en complemento” y “en mejoramiento” con 0,5; los que aparecen con el rotulo excluido no se incluyen. Más adelante se explica los criterios utilizados para la definición del juego de ponderadores.

14


Tabla No. 2: Listado de Indicadores asociados a las dimensiones o factores

Los criterios para la asignación del juego de ponderadores se resumen en los aspectos que se describen a continuación:

Dimensión ID Nombre Indicador PonderadorAprendices 1 SABER PRO (-‐10) Excluido

2 SABER PRO (PROMEDIO) Completo3 DEMANDA SOCIAL Completo

Suma AprendicesBienestar 19 DESERCIÓN TITULADA 2014 En complemento

20 DESERCIÓN COMPLEMENTARIA 2014 Excluido21 DESERCIÓN TITULADA AÑO 2013 En complemento22 DESERCIÓN COMPLEMENTARIA AÑO 2013 Excluido

Suma BienestarEgresados y su impacto en el medio 9 EGRESADOS OCUPADOS FORMALMENTE (TOTAL) Excluido

10 EGRESADOS OCUPADOS FORMALMENTE (TECNICOS) Completo11 EGRESADOS OCUPADOS FORMALMENTE (TECNOLOGOS) Completo13 INGRESO LABORAL DE EGRESADOS (TECNOLOGO) Completo14 INGRESO LABORAL DE EGRESADOS (TECNICO) Completo15 INGRESO LABORAL DE EGRESADOS (TOTAL) Excluido29 INSCRITOS EN LA APE Completo30 EMPLEOS FONDO EMPRENDER En mejoramiento

Suma Egresados y su impacto en el medioFormación Profesional 12 PRODUCCIÓN DE INVESTIGACIÓN Y DESARROLLO (I+D) Completo

16 ALTERNATIVAS -‐ OTRAS (SERVICIO MILITAR, PASANTÍAS, MONITORÍAS) Excluido17 ALTERNATIVAS -‐ CONTRATO DE APRENDIZAJE Completo18 ALTERNATIVAS -‐ NINGUNA En complemento26 APRENDICES CON CONTRATO DE APRENDIZAJE Completo32 PRODUCCIÓN DE CENTROS Completo34 TOTAL EDUCACIÓN SUPERIOR Completo35 TOTAL TÉCNICA LABORAL Y OTROS Excluido36 FORMACIÓN COMPLEMENTARIA Completo37 FORMACIÓN VIRTUAL Excluido38 PROGRAMA DE BILINGÜISMO Excluido40 ALTERNATIVAS -‐ NINGUNA Excluido52 APRENDICES I + D En mejoramiento

Suma Formación ProfesionalInfraestructura física y TICs 27 INDICE ESTADO DE INFRAESTRUCTURA En complemento

43 USO DE AMBIENTES Completo44 DENSIDAD SEDE PRINCIPAL Excluido45 DENSIDAD TOTAL En complemento46 DENSIDAD AMBIENTES DE FORMACIÓN En complemento47 APRENDICES POR EQUIPO DE COMPUTO (MAS DE DOS AÑOS) Excluido48 APRENDICES POR EQUIPO DE COMPUTO (MENOS DE DOS AÑOS) Excluido49 APRENDICES POR EQUIPO DE COMPUTO (TOTAL GENERAL) Completo

Suma Infraestructura física y TICsInnovación y desarrollo tecnológico 50 PROGRAMAS I+D POR CENTRO Completo

Suma Innovación y desarrollo tecnológicoInstructores 4 NIVEL EDUCATIVO INSTRUCTORES POSGRADO Completo

5 NIVEL EDUCATIVO INSTRUCTORES (UNIVERSITARIO) Excluido6 NIVEL EDUCATIVO INSTRUCTORES (TECNOLOGO) Excluido7 NIVEL EDUCATIVO INSTRUCTORES (TECNICO) Excluido8 NIVEL EDUCATIVO INSTRUCTORES (BACHILLER) Excluido25 DEDICACIÓN A LA FORMACIÓN En mejoramiento39 DEDICACIÓN A LA FORMACIÓN (2) Completo41 EXPERIENCIA DOCENTE Completo42 EXPERIENCIA PROFESIONAL Completo

Suma InstructoresInvestigación aplicada 51 INSTRUCTORES I+D En complemento

Suma Investigación aplicadaMisión Direccionamiento Estratégico y Programa de Formación24 CLIMA ORGANIZACIONAL En complemento

Suma Misión Direccionamiento Estratégico y Programa de FormaciónOrganización y gestión de la información 23 PORCENTAJE DE CERTIFICADOS Completo

Suma Organización y gestión de la informaciónRecursos financieros 33 COMPROMISOS Completo

53 APROPIACIONES En complemento54 PAGOS En complemento

Suma Recursos financierosRelaciones Internacionales y Nacionales 31 PROGRAMAS CON ESTANDARES INTERNACIONALES En complemento

Suma Relaciones Internacionales y Nacionales

15


DEFINICIÓN DE CATEGORÍAS PARA AGRUPACIÓN SEGÚN IMPORTANCIA EN EL ESQUEMA DE SEGUIMIENTO

EVALUACIÓN QUE FUERON CONSTRUIDOS. Se definieron 3 categorías a saber: Estratégica que responde a los objetivos pilares y estratégicos del SENA; Gestión relacionado con aquellos cuyo nivel de influencia es fundamentalmente en los Centros de Formación y una tercera categoría que agruparía aquellos indicadores que pudiéndose clasificar en la segunda categoría aún están en proceso de construcción y perfilamiento metodológico, ya sea por desarrollo conceptual, por sus fuentes de información o por los esquemas de recolección.

EXCLUSIÓN DE INDICADORES REDUNDANTES EN EL PROCESO DE AGREGACIÓN Selección de los indicadores pertinentes y exclusión, para efectos de la síntesis, de aquellos indicadores que ya están representados en algunos de la batería dispuesta.

DEFINICIÓN DE PONDERADORES PARA CADA CATEGORÍA E INDICADOR. Los criterios para establecer el juego de ponderadores fueron:

i. Cada categoría tendría un peso similar y sus diferenciales los constituiría la calidad del indicador. En este sentido cada categoría iniciaría con un ponderador de 1/3.

ii. Los pesos dentro de cada categoría se distribuirían proporcionalmente, a excepción de los indicadores que sean complementarios los cuales entrarían sumando como unidad y aquellos cuya construcción metodológica se encuentra en proceso de mejoramiento, por ejemplo los indicadores relacionados con la dimensión de instructores de la categoría estratégica.

Tabla No. 3. Distribución de los indicadores por dimensión y categoría

A manera de conclusión los indicadores agrupados bajo la categoría de “estratégico” tienen un peso de 52,8%, los agrupados en la categoría “gestión” pesan 33,3% y los de resto 13,8%. Si se realiza el análisis por dimensiones se puede concluir que las dimensiones más importantes, ”formación profesional”, egresados y su impacto en el medio”, “aprendices” e instructores agregan el 76,9 del indicador.

3.8. SOCIABILIZACIÓN Y CAPACITACIONES. Para el primer grupo de indicadores, esta etapa se ha venido realizando a través de visitas a los Centros de Formación donde confluyen a la vez el Director del Centro, el Subdirector de la Regional y el Directordel área misional competente de la Dirección General. En dichas mesas de trabajo no sólo se discutió, analizó y acordó cada indicador, sino también los resultados obtenidos y el uso de los mismos en relación al proceso de alta calidad institucional. En síntesis, se capacitó y familiarizó al personal directivo citado con el mejor uso que se le debe dar a la información contenida en la línea base de Indicadores, así como el alcance de la

Dimensiones Estrátegico Gestión Resto Total generalFormación Profesional 15,1 11,6 1,3 27,9Egresados y su impacto en el medio 15,1 4,3 19,4Aprendices 15,1 15,1Instructores 7,5 4,3 2,5 14,4Organización y gestión de la información 2,9 2,9Bienestar 2,9 2,9Recursos financieros 2,9 2,5 5,4Misión Direccionamiento Estratégico y Programa de Formación 1,4 1,4Relaciones Internacionales y Nacionales 1,4 1,4Infraestructura física y TICs 1,4 5,0 6,5Innovación y desarrollo tecnológico 1,3 1,3Investigación aplicada 1,3 1,3Total general 52,8 33,3 13,8 100,0

16


herramienta para el seguimiento, evaluación y mecanismos que conduzcan a la excelencia institucional10. El diagrama No.4 muestra el procedimiento definido a la fecha para el desarrollo de la agenda regional de alta calidad, agenda a través de la cual se ha venido construyendo e implementado esta batería de indicadores.

Diagrama No. 4: Procedimiento para el desarrollo de la Agenda Regional de Alta Calidad.

Fuente: SENA – Agenda Regional para la Alta Calidad, Bogotá, Mayo 2014.

De acuerdo con lo anterior, el uso que se puede dar a la información contenida en la línea base no se reduce sólo a un único período de tiempo coyuntural o específico, también sirve para estudiar y examinar el estado en que se encuentra la entidad en varios momentos a lo largo del tiempo; por lo tanto debe entenderse que dicha información recoge aspectos centrales, de estructura, de la vida de la Institución que le dan su existencia y razón de ser, y el uso más adecuado de esos indicadores conviene a todos y exige ser activados constantemente en un proceso de participación y compromiso serios, responsables, asumidos por los actores funcionarios a cargo de la excelencia institucional. El buen funcionamiento de la Entidad depende por lo tanto de la puesta en marcha del aplicativo, esquema organizativo, flujos de información y alimentación de los indicadores y de sus bases de datos. Para tal el efecto, el proceso debe incluir el desarrollo de un programa amplio de capacitación a funcionarios y directivos en torno a la administración y coordinación de la línea base, la construcción y análisis de indicadores.

Para dichos propósitos se deben organizar ciclos de capacitación acerca de diversos aspectos técnicos, donde se trate al menos los siguientes temas:

10 Este proceso no se ha desarrollado para los indicadores del segundo momento. La metodología utilizada para el resto de indicadores será la misma, incorporándole las lecciones aprendidas del proceso del primer momento.

17


ü Análisis, formulación y diseño de indicadores. ü La inclusión de indicadores en el sistema. ü El cargue de datos a las variables que componen los indicadores. ü La consulta de los indicadores para su análisis y aplicaciones respectivas de los mismos.

Documents

LINEAMIENTOS!METODOLÓGICOS! • Flujos!de!información.! Socialización y capacitación • Capacitación! • Socialización! • Divulgación!!! 6! · 2014-6-5