Workshop InovAval: Inovação eAvaliação com Tecnologias da

Informação - UFRGS

El Programa de Evaluación

Institucional de la Udelar: 10 años de implementación

A r q. E r n e s t o D o m í n g u e z j u l i o 2 0 0 9

2000 Pautas para la presentación del Informe de Autoevaluación

El Programa de Evaluación Institucional de la Udelar

Desarrollo

Lineamientos para un Programa de Evaluación institucional de la Universidad de la República

CCEI organizó actividades de difusión y formación en la temática

1999 Se aprueba Programa de Evaluación Institucional

1997 Antecedente: Evaluación Area Tecnológica

1998 CDC integró un Grupo de Trabajo

2005 Pautas para la elaboración de la Evaluación Externa

2008 Fin de etapa. Vinculación Evaluación - Acreditación

O b s t á c u l o s p a r a l a E v a l u a c i ó n

“entorpecen el posible emprendimiento de políticas de evaluación institucional un conjunto de circunstancias internas: la INSUFICIENCIA DE MEDIOS E INFRAESTRUCTURAS en condiciones de ser orientadas de manera idónea a la gradual incorporación de la evaluación como un ingrediente sostenido de la operativa universitaria; la ESCASEZ DE PERSONAL ESPECIALIZADO en las tareas, metodologías y técnicas de la evaluación; la CARENCIA DE UN CUADRO NORMATIVO destinado a regular y sustentar jurídicamente la autoridad de los organismos eventualmente responsables de los procedimientos evaluatorios; la SEGMENTACIÓN DE INTERESES competitivos que conviven respaldados en las prerrogativas de los distintos servicios universitarios; la ausencia en muchas zonas del quehacer universitario de una “CULTURA DE LA EVALUACIÓN”, capaz de asegurar el necesario espíritu cooperativo de los actores responsables de suministrar información completa y confiable; la presencia de contextos de RESISTENCIA IDEOLÓGICA anclados en climas culturales tradicionales y sensibilidades rutinarias poco propensas a la renovación de la vida universitaria”. (Landinelli)

Motivos de implantación

Conceptual Rendición social de cuentas y fortalecimiento del crédito

Mejora permanente y mayor transparencia

Oportunidad

Contexto de transformación universitaria

Construcción de un sistema de aseguramiento de calidad

Mayor legitimidad para pedidos presupuestales

Concepción de que no se evalúa por el estado

Estructura

Comisión Central de Evaluación Institucional

Coordinadores por área

Comisiones de Evaluación por área

Comisiones de Evaluación Institucional por Facultad

Comité de Pares Externos.

Conceptos

CALIDAD

“a) La calidad de la enseñanza superior es un concepto pluridimensional que debería comprender todas sus funciones y actividades: enseñanza y programas académicos, investigación y becas, personal, estudiantes, edificios, instalaciones, equipamiento y servicios a la comunidad y al mundo universitario. Una autoevaluación interna y un examen externo realizados con transparencia por expertos independientes…” Declaración de la Conferencia Mundial sobre la Educación Superior. UNESCO. París. 1998

Características

ContextualizadoVoluntarioAutorreguladoPeriódicoParticipativoNo punitivoIntegral

Unidad de análisis: las facultades

Autoeval., eval.externa, plan de mejoras

Dimensiones y lineamientos(no indicadores)

Evaluación externa: pares académicos(propuestos por la facultad)

El Programa de Evaluación Institucional de la Udelar - 2009

Area Autoevaluación

Evaluación Externa

ENBA Si Si

EM Si Si

Agronomía Si Si

Veterinaria SI SI

FCS Si Si

HCE Si Si

FCEA Si Si

Derecho No No

Química Si Si

Arquitectura Si Si

Ingeniería Si No

Ciencias No No

Odontología Si Si

Enfermería Si Si

Psicología Si Si

Nutrición Si En proceso

Medicina No No

Comisión Sectorial

Autoeval. Evaluación Externa

EnseñanzaCSE

Si Si

Investigación

CSIC

Si Si

ExtensiónCSEAM

Si Si

GestiónCSG

Si Si

PLEDUR Si Si

7 componentes

7 componentes 1 etapas / modelo

“No debe haber un molde único en que todas las instituciones quepan igualmente. Cada institución universitaria debe buscar establecer, con toda claridad y con el máximo grado posible de acuerdo interno,…..cuál es la identidad que quiere construir y cuáles son los compromisos sociales que de una forma determinante quiere cumplir para justificar públicamente su existencia. …” Días Sobrinho

M o d e l o

• Caracterizado por la forma de gestión de la institución

• Objetivo: mejora de la calidad y rendición de cuentas

• Sin consecuencias directas. Construcción de un plan de mejoras

• Libre – autorregulado por cada facultad. Cada institución construye su modelo para la emisión de juicios de valor.

• Evaluación de objetivos, de insumos, de procesos. Los impactos no aparecen claramente determinados

generación de la estructura

definición del equipo técnico

formulación del plan de trabajo (difusión, validación, responsabilidades, estrategias)

definición de dimensiones, criterios, indicadores y fuentes

formulación de una estrategia de construcción de la información

definición de una estrategia e instrumentos para la participación

definición de dispositivo para la redacción del informe

preparación de la evaluación externa

plan de mejora

efectos del proceso

D i s e ñ o d e u n P r o g r a m a

7 componentes

las autoridades

2

TONO DEL PROCESO

COMPROMETIDO vs. FORMAL

CON PERSPECTIVA vs. PARA SALVAR

LIDERAZGO

CONVENCIMIENTO

“son las propias universidades las que deben tomar la

iniciativa de poner en marcha el proceso” ¿ ?

FUNCION

7 componentes

la información

3

LA INFORMACIÓN DEBER SER

Debe dar cuenta de lo que se afirma “me parece…” no es una fuente válida

Precisa

Pertinente

Útil

Suficiente

Temporal

Ilustrar los items fundamentales“Nuestra carrera es muy particular”

No convertir al proceso en una búsqueda de datos

Información como series y contextualizada en el tiempo

Con algún sentido

TIPO DE INFORMACIÓN

cualitativa y cuantitativa

registro de actividades y resultados

desagregación de lo micro a lo macro

Importancia a los procesos y a los resultados

estos procesos no trabajan sobre lo micro (evaluar un profesor, una materia, etc), ni en niveles macro (la política educativa, el sistema de educación), por lo que nos manejamos en niveles de desagregación intermedios.

Equilibrado e integral

LOS DATOS

dificulta la percepción de lo relevante

condena a la evaluación al subjetivismo puro

FALTA O IMPRECISIÓN

EXCESO (DATOS O INSTRUMENTOS CUANTITATIVOS)

reduce la evaluación a lo tecnocrático

“reduccionismo del objetivismo”

LA INFORMACIÓN ES UNO DE LOS PRINCIPALES ESCOLLOS

banco de datos para ADMINISTRAR versus para PLANIFICAR

destruir “la profecía autocumplida”,

(el hecho de buscar la información de acuerdo a ”lo que ya se que va a decir el informe”. )

LA CONSTRUCCIÓN DE LA INFORMACIÓN ES PARTE DE LA INVESTIGACIÓN

7 componentes

la participación

4

OBSTACULOS

temor punitivo a cualquier proceso de evaluación

divergencias en torno al concepto de calidad

intereses competitivos

ausencia de cultura de la evaluación

miedo a la pérdida de autonomía versus fortalecimiento de la autonomía

•Participación en cantidad pero también en cualidad

• Abandonar la construcción del asambleísmo masivo

• Componer la participación por diversidad y cruces

• Una tarea es pensar, construir, e inventar formas de participación.

“No hay proceso sin participación”¿cuál es una participación que valida la autoevaluación?

“….En épocas de fuerte retracción de la participación ciudadana y de desconfianza fundada en las instituciones más tradicionales, si se desea realmente invertir la tendencia, será necesario no solo abrir el espacio desde el diseño del proyecto de autoevaluación, sino también en no pocas oportunidades, la tarea pasará por convencer a los sujetos de la importancia y valor de su palabra, así como garantizar con hechos concretos el respeto a sus ideas e interpretaciones.”

SUJETOS DE LA EVALUACIÓN

“el punto de partida fue definir al interior de los grupos universitarios,

que el proyecto era de ellos, y que por lo tanto, eran ellos quienes

debían tener el poder de las decisiones” (Lic. Susana Celman)

7 componentes

equipo técnico

5

REQUERIMIENTOS

¿Es la autoevaluación un trabajo de especialistas?

recursos humanos con un cierto saber teórico o experimental en la temática

recursos de la propia institución, quetrabajen como “sujetos políticos” paraconstruir un ambiente que garanticeprácticas democráticas

Necesidad de trabajo técnico –administrativo especializado

Acceso a asesoramientos“especializados”

¿Quién coordina el proceso de evaluación?

COORDINADORdebe conocer la temática

y su instrumentación

de la institución

• mayor conocimiento de la institución

• implicancia en los juicios• relaciones interpersonales

externo a la institución

• mirada “descontaminada”• validación de su “saber”• mayor respeto frente a obligaciones y derechos

LA COORDINACIÓN

7 componentes

el informe6

CARACTERISTICAS

Tecnico

Representativo

Analítico

Equilibrado

Realista

DESVIACIONES

COHERENCIA VS PARTICIPACIÓN Y DIVERSIDAD

AUTOCOMPLACENCIA VS VICTIMIZACIÓN

CONOCIMIENTO VS RELEVAMIENTO

¿Hubo producción de conocimiento?

7 componentes

comparabilidad7

DESVIACIONES

RANKINGS VS APRENDIZAJE

7 + 1

final

FINAL

obstáculos enfrentados

carencia de un cuadro normativo

segmentación de intereses

“cultura de la evaluación”

resistencia ideológica

escasez de personal especializado

insuficiencia de medios e infraestructuras

FINAL

Incorporación a la agenda

Respaldo a autoridades

Planes de mejora en todos los servicios

Impulso de transformaciones educativas concretas

Mejora de infraestructura y procedimientos

resu

ltado

s

¿Puede transformarse en un sistema de aseguramiento de la calidad?, ¿un nuevo “contrato Estado – Udelar”?

¿La evaluación como patrimonio de las universidades, hasta donde es voluntaria?

Es necesario un proceso sin castigo, y ¿sin incentivos ?

¿Como evitar procesos simplistas?¿Como lograr sinceramiento en los procesos?

¿Cómo trascender la mirada autorreferenciada de la academia?

¿Alcanza con el proceso para garantizar calidad, o es necesario avanzar en la medida de resultados y de efectividad en los objetivos?

¿Qué definimos por participación?

¿Cómo lograr un equipo técnico y recursos humanos en los servicios?

¿Cómo desarrollar bancos de datos e instrumentos de manejo de la información adecuados y de uso flexible?

FINAL

F I N A L

final