Construcción de Instrumentos de Medición y Aplicación de

Evaluaciones de Competencias Laborales

Principios Básicos

Día de Evaluación de Competencias

“Proceso de vincular conceptos abstractos con indicadores empíricos”, y que se realiza mediante un plan explícito y organizado para clasificar y frecuentemente cuantificar los datos que puedan suministrar conductas observables relacionadas con las variables en estudio.

MEDIR

CONFIABILIDAD : grado de precisión o exactitud de la medida, en el sentido de que si aplicamos repetidamente el instrumento al mismo sujeto u objeto produce iguales resultados.

• VALIDEZ: se refiere al grado en que un instrumento mide la variable que pretende medir.

REQUISITOS DE UN INSTRUMENTO DE MEDICIÓN

• VALIDEZ DE CONTENIDO: grado en que un instrumento refleja un dominio específico de contenido de lo que se mide.

• VALIDEZ DE CRITERIO: implica que la medición del instrumento se ajusta o sirve a un criterio externo.

• VALIDEZ DE CONSTRUCTO: grado en que una medición aportada por un instrumento relaciona consistentemente con otras mediciones que han surgido de hipótesis y construcción de teorías antecedentes.

TIPOS DE VALIDEZ

1. La improvisación

2. El no estar validados en el contexto donde se aplican

3. El instrumento es inadecuado o no es empático

4. Aspectos mecánicos o procedurales

FACTORES QUE PUEDEN AFECTAR LA CONFIABILIDAD Y LA VALIDEZ

Validez de contenido

1. Revisar como ha sido tratada esta variable por otros investigadores anteriormente.

2. Elaborar un universo de ítems tan amplio como sea posible.

3. Validación por expertos.

PARA ASEGURAR VALIDEZ

PARA ASEGURAR VALIDEZ

• Parámetros relacionados con el desempeñoSiempre que las evaluaciones se basen en factores arbitrarios en cuanto a la medición del desempeño, se irá perdiendo la validez. Por ello se han considerado indicadores y registros surgidos desde los mismo procesos.

Otro medio para asegurar la validez, es el desarrollo de mediciones de desempeño apropiadas para el nivel jerárquico en cuestión. Los supervisores de niveles menores de la estructura se evalúan en función de la productividad, el rendimiento y los costos. En contrapunto, dentro de los niveles superiores de la organización los gerentes se evalúan basándose en ganancias, cuotas de ventas y beneficios de la inversión. En este sistema las mediciones de desempeño responden a lo estipulado por las personas al definir los Niveles de Dominio de Competencia (NDC) para cada Rol.

MEDICIONES APROPIADAS

Otro factor crítico para asegurar la validez es el periodo del tiempo en el que se debe calificar el objetivo. Algunos indicadores se pueden evaluar basándose en un corto plazo y es factible (pero no lo más recomendable) obtener mediciones objetivas. Se pueden tomar en cuenta registros históricos para establecer vistas de dominio más amplias.

DIMENSION DEL TIEMPO

Instrumentos Propuestos

• Pruebas de Conocimiento

• Apreciaciones en 360º

• Constataciones en Terreno

• Simulaciones

Pruebas de Conocimiento

Ventajas de las pruebas de alternativa :• Pueden aplicarse de forma individual o

colectiva.• Son de corrección rápida y objetiva.• No se necesitan expertos para hacer la

corrección.• Las preguntas pueden utilizarse más de una

vez simplemente modificando las alternativas de respuesta.

• Son de amplia difusión ya que todos están familiarizados con el formato.

Apreciaciones (360º)La evaluación de 360 grados es una herramienta cada día más utilizada en las organizaciones modernas. Sus principales usos son los siguientes:

– Medición del desempeño del personal – Medición de las Competencias (conductas) – Diseño de programas de desarrollo – Otras aplicaciones administrativas (forma parte de la

compensación dinámica)

Como el nombre lo indica, la evaluación de 360 grados pretende dar a las personas una perspectiva de su desempeño lo más adecuada posible, al obtener aportes desde todos los ángulos: supervisores, compañeros, subordinados, clientes internos, etc.

Ventajas de aplicar 360°

• El sistema es más amplio en el sentido de que las respuestas se recolectan desde varias perspectivas.

• Es la única herramienta que incluye a subordinados, clientes externos e internos, jefes y pares.

• Al obtener información de los clientes internos, de los externos, y de los equipos, la evaluación permite establecer acciones correctivas, que son uno de los principios de la calidad total.

• Puede reducir el sesgo y los prejuicios, ya que la retroalimentación procede de mas personas, no sólo de una.

• La retroalimentación de los compañeros y de los demás podrá incentivar el desarrollo del empleado.

• Se basan en opiniones y por lo mismo están sujetas a un sesgo mas fuerte.

• El sistema es más complejo, en términos administrativos, al combinar todas las respuestas.

• La retroalimentación puede ser intimidatoria y provocar resentimientos si el evaluado siente que quienes respondieron se "confabularon".

• Quizá haya opiniones en conflicto, aunque puedan ser precisas desde los respectivos puntos de vista de los evaluadores.

• Para funcionar con eficacia, el sistema requiere capacitación o al menos, instrucciones muy claras y fáciles de seguir.

• Los evaluados pueden coludirse o "engañar" al sistema dando evaluaciones no válidas.

Desventajas o puntos a considerar.

Constataciones en Terreno

• Modalidad especialmente diseñada para este proyecto, consistente en registrar evidencias concretas como elementos de juicio.

• Se basa en la observación en terreno, del comportamiento a evaluar o de sus evidencias.

Constataciones en Terreno

• Ventajas:– Son más objetivas que las apreciaciones ya

que se basan en evidencias empíricas.– Al basarse en evidencias no hay espacio para

el sesgo del evaluador u otras variables que invaliden los resultados.

– Pueden recogerse mediciones sin necesidad de citar al evaluado.

Simulaciones

• Son escenarios ficticios diseñados para entrenar o evaluar la capacidad de ejecución y de tomar decisiones en situaciones que buscan asemejarse a la realidad.

Simulaciones• Ventajas

– Permiten entrenar y evaluar capacidades asociadas a situaciones que en la realidad implicarían un alto costo de realización.

– Permiten evaluar no sólo conocimientos sino que la habilidad para aplicarlos de forma combinada.

– Pueden aplicarse de forma individual o colectiva.

• Desventajas

• Se requiere un alto nivel de conocimientos y experiencia para construir las simulaciones.

• Estas deben construirse Ad – hoc al rol que se va a evaluar.

Fuentes de Error

• Tendencia de los evaluadores

Hay cinco tendencias de respuesta que puede manifestar el evaluador, y que invalidan la evaluación o restringen la precisión de la misma:

Fuentes de Error

• Tendencia central. Ocurre cuando un evaluador evita asignar calificaciones muy buenas o muy malas. Puesto que a todos se les clasifica como promedio, los trabajadores sobresalientes se ven penalizados y, al reducirse la gama de las diferencias individuales entre las clasificaciones, disminuye también la confiabilidad del proceso de evaluación.

Fuentes de Error

• Tendencia a la benevolencia. El evaluador asigna a todos calificaciones buenas. Incluso los que tienen desempeños más deficientes alcanzan puntuaciones promedio.

• Efecto de halo. Hay una distorsión. Ocurre cuando un jefe permite que la actividad bien desempeñada por su colaborador influya en la evaluación de las otras dimensiones del trabajo, a pesar de que en algunas de éstas el empleado tenga deficiencias.

Fuentes de Error

• Características sobrepuestas. Se trata de errores que provienen de las supuestas interrelaciones de las características. Por ejemplo, un empleado que tenga conocimientos notables sobre un trabajo, puede recibir -sin merecerlo- también una clasificación excelente por sus cualidades mentales, es decir, sentido común, viveza y buena memoria.

Fuentes de Error

• De índole Aleatoria. El evaluador no se preocupa por la precisión de la calificación que da, sino que trata de evitar que se le juzgue como parcial. El resultado es que la persona asigna aleatoriamente diferentes evaluaciones sobre una base al azar, con el objetivo de dar le impresión de haber realizado un trabajo acucioso. En realidad, las valoraciones no reflejan las conductas de los trabajadores.

Fuentes de Error en cuanto a la Confiabilidad

Para que una evaluación de 360° sea confiable, deberá tener dos características primordiales: consistencia y estabilidad.

• Consistencia: Significa que si se tienen dos maneras alternativas de recopilar la misma información se obtendrán resultados sustancialmente similares.

• Estabilidad. Indica que el mismo medio de medición dará los mismos resultados varias veces seguidas si se supone que la característica que se está evaluando no ha cambiado. Uno de los métodos complementarios que se recomienda para mejorar la confiabilidad, es el de las evaluaciones múltiples. Si hay 4 evaluaciones y todas ellas son sustancialmente distintas entre sí, es evidente que los calificadores no tienen mucha experiencia en la medición de trabajo, o que existe un desacuerdo en lo concerniente a cómo juzgar los diferentes factores del rendimiento. En cualquier caso, estamos frente a un problema de confiabilidad.

Fuentes de Error

Simulaciones

• Consiste en generar, de forma simple y clara, un contexto situacional, en el que el lector deba tomar una serie de decisiones, o ejecutar una secuencia de acciones, que lo obliguen a poner en juego sus conocimientos y experiencia para resolver un problema.

• El desempeño del evaluado se mide comparando sus decisiones y /o ejecuciones, con los parámetros estipulados por expertos o establecidos en documentos oficiales.

Escalas de Corrección

• Escalas cualitativas.

• Escalas Numéricas.

• Mínimo de aprobación

• Se normalizarán las escalas para efectos de poder comparar resultados en caso de que fuere necesario.

Estrategias a Aplicar• Asegurar el Anonimato: Para ello será el área de

RRHH la encargada de hacer las correcciones de acuerdo a las pautas de corrección estipuladas por los generadores de las evaluaciones.

• Responsabilizar a las personas que responden: Los jefes deben señalar claramente la forma correcta de abordar cada tipo de evaluación.

• Impedir que el sistema se convierta en una cacería: Es posible que algunas personas traten de ayudar o perjudicar a un empleado al darle una evaluación demasiado elevada o muy baja. Incluso puede llegar a suceder que los miembros del equipo intenten coludirse dándose calificaciones altas. De ser necesario, los jefes deberán apoyar a RRHH en detectar las respuestas que obviamente no sean válidas.

Estrategias a Aplicar

• Utilizar procedimientos estadísticos: Usar porcentajes ponderados u otros enfoques cuantitativos para combinar las evaluaciones. Del mismo modo se ajustarán las escalas entre uno y otro servicio toda vez que los criterios de aprobación serán distintos en Bio Bio y en Aconcagua.

• Identificar y cuantificar los sesgos: Comprobar los prejuicios o preferencias del grupo con relación a la edad, el género, el origen étnico u otros factores.

• Utilizar Sistemáticamente la consulta a Expertos