PRINCIPIOS DE LA EVALUACIÓN DOCENTE

KENNETH D. PETERSON. Pensar sobre la evaluación docente.

Traducción: Lic. Aleida Pardo Martínez. 3er. Semestre MEDS. Grupo "A"

Este capítulo presenta los principales conceptos y perspectivas que fundamentan el diseño y uso de los sistemas de evaluación docente. Tener en consideración estas ideas es importante porque no basta tener un sistema de evaluación sino que también es necesario comprenderlo. Así que lo presentado en este capítulo es la introducción a las técnicas que se detallan posteriormente.

La evaluación docente es una actividad compleja y no tan simple y sencilla como parece. Los educadores necesitan pensar en asumir los procesos, las expectativas y las relaciones que ellos usan para evaluar a los maestros. Problemas profundos como: ¿Qué es la calidad en la enseñanza? Y ¿Quién puede reconocer mejor la calidad de los maestros?, requieren discusión antes de empezar la acción. Debatir acerca de las ideas básicas y controversiales es el mejor fundamento para la práctica efectiva.Este capítulo presenta una colección compleja de ideas básicas y controversiales. Comenzando con la examinación de los muchos objetivos de la evaluación de los maestros. Luego, las preguntas centrales para tomar una decisión sobre los valores de los maestros, que se discuten en una sección más amplia sobre cómo juzgar la calidad del maestro. Posteriormente le sigue, un trabajo que define la calidad del maestro, un concepto difícil de identificar. El siguiente tema es la idea clave de que los maestros deben tener un control y participación más extensa en su propia evaluación. El capítulo continúa con la discusión de los costos, los cuales son frecuentemente ignorados al pensar en el diseño de la evaluación. La siguiente sección describe los valores que constituyen una buena evaluación de maestros. Entonces el punto será que aunque no es una actividad popular, la evaluación docente se ha incrementado. El capítulo concluye con recomendaciones para mejorar la práctica.

OBJETIVOS DE LA EVALUACIÓN DOCENTEEl objetivo general de la evaluación docente es determinar el valor o mérito de la enseñanza (Scriven, 1973). Objetivos más específicos son para proteger a los niños, tranquilizar a los profesores ya que están haciendo un buen trabajo, garantizar un público interesado el desempeño docente, tomar decisiones personales, informar a los formadores docentes y adquirir más práctica. Los sistemas más comunes de evaluación docente, enfatizan la función de la evaluación para mejorar la práctica. En realidad hay poca evidencia en que dichos sistemas realmente mejoren la práctica pero una buena evaluación docente tiene un sin número de propósitos igual de importantes.

Hay una gran responsabilidad para que los maestros sean evaluados, respecto a otras profesiones (Scriven, 1973). La razón principal es que sus clientes son jóvenes y no voluntarios. Así que el monitoreo docente para proteger a los jóvenes es esencial. También muchos otros profesionales tienen fuertes mecanismos de evaluación in el regreso de los clientes, cuestión que los maestros no tienen. La adecuación y calidad de un dentista se reafirma con el número de veces que regresa su paciente. Normalmente al maestro se le asignan clases independientemente de su desempeño pasado. Por lo tanto, los maestros deberían tener más parámetros de evaluación que son visibles en otras profesiones.Otro propósito central de la evaluación docente es tranquilizar a los profesionales y su audiencia. Lortie (1975) describía la docencia como una profesión carente de retroalimentación, lo que indica calidad y confiabilidad. Muchos de los resultados docentes son apenas vistos a corto plazo, o son confundidos con otras experiencias simultáneas de los

1

alumnos. Los valores que incrementan los alumnos se contabilizan por logros anteriores del maestro lo que dificulta que los maestros tengan claridad sobre los efectos que su esfuerzo pueda tener. Otros profesionales los pueden ver de manera más directa. Un arquitecto puede ver la adecuación del diseño de un puente cuando este está físicamente en su lugar. En otras palabras, el dentista es fácil de juzgar por el diseño de un puente, según lo reporte el paciente. Una buena evaluación docente tiene el potencial de permitir al maestro saber, en la forma en que él confía, que está haciendo un trabajo valioso, útil y necesario. Esta función central de la tranquilidad docente es poco trabajada, de manera que son más valorados por el trabajo en el aula. Lo que los maestros necesitan y cómo usan la evaluación, es materia de poca investigación y desarrollo (a excepción de Lortie, 1975).

Más allá de la tranquilidad, una evaluación con datos confiables centrados en la buena enseñanza (preparación, proceso o resultados) ya existe pero debería existir la evaluación que aumente la satisfacción del docente. Como lo describe Owens (1991).“Un factor de mayor motivación para los maestros sería (más que el pago, seguridad y asenso) el lograr que el maestro tenga un alta autoestima profesional, se sienta competente y respetado; ser vistos como personas de logros, profesionales que tienen influencia en sus trabajos, personas en crecimiento que tienen oportunidades en el futuro de desarrollar una mayor competencia y un mayor sentido de logros (p. 113)”.

Un propósito importante de la evaluación docente es documentar y dar a conocer los logros docentes, la influencia y la actividad profesional.

La tranquilidad de las audiencias de los maestros también es importante, la enseñanza no atañe únicamente a maestros y alumnos sino también a los padres, a los representantes elegidos, a la sociedad y a la profesión en sí. Hay muchos involucrados en la calidad de la enseñanza. Una evaluación docente comprensiva tiene el objetivo de permitir que los grupos interesados sepan qué tan bien y de qué forma los maestros contribuyen con los estudiantes y con la sociedad.

El propósito más visible de la evaluación docente está en la toma de decisiones administrativas (Bridges, 1992). Estas decisiones son para despedir, retener, remediar o terminar una relación laboral. Esta actividad recibe mayor a tención y constituye el único motivo de interés común de los participantes y el público. In particular los pocos casos que terminan en despido tienen qué ver con la evaluación de la práctica docente (Laurence, Vachon, Leake & Leake, 1993). De ahí resulta que otro tipo de decisiones administrativas son virtualmente inexistentes. Por ejemplo, los distritos escolares no tienen un sistema de evaluación sistemática que identifique al maestro líder o exitoso, que promueva el asenso de los maestros (como se hace en las universidades), o que dé reconocimiento y seguridad por antigüedad.

El propósito más discutido en la evaluación docente es que contribuye a mejorar la práctica. Esta función se menciona mucho pero no hay evidencia en que la práctica se mejore. Thuckman y Oliver (1968) reportaron que una encuesta aplicada a los alumnos reflejó que el maestro mejoraba su práctica docente. Pero no hay más ejemplos que el anterior, la literatura carece de casos de evaluación donde se mejore la práctica. No hay investigaciones empíricas que muestren que a partir de la evaluación los alumnos mejoren sus logros, cambien los métodos de enseñanza, mejoren las relaciones alumno-maestro o se incremente la satisfacción docente. No se han publicado estudios de programas de evaluación docente que muestren importancia, durabilidad, efectividad de costos, resultados educativos en términos de mejora de los maestros o que incrementen el aprendizaje del alumno.

Un propósito final de la evaluación docente es que se mejore la profesión. Esta función va más allá del maestro como individuo sino que se dirige al grueso de los educadores. Los programas de formación docente podrían beneficiarse del reporte de una bien documentada evaluación sobre maestros exitosos. Esos reportes no están disponibles en una evaluación común. El desarrollo de una “base de conocimiento” (Wpara la enseñanza y el aprendizaje Ang, Haertel & Walberg, 1993) para el seguimiento docente ha sido frecuentemente recomendado. Una fuente para la base de conocimiento para la enseñanza y el aprendizaje es la investigación académica, social y científica. Sin embargo, hay críticas recientes sobre el valor de una base

2

de conocimiento que está alejada de la acción en el aula. (Kliebard, 1993). Nuevamente, un programa de evaluación docente bien documentado, es una prometedora fuente de información para la práctica profesional en general. Los programas comunes de evaluación docente no entran en este grupo. En el capítulo 26 del libro se muestra como los datos acerca del valor y efecto del maestro en lo individual se le puede agregar a información de la práctica en general y al pre- servicio docente como en la docencia en servicio.

COMO JUZGAR LA CALIDAD DOCENTEA los jueces de la evaluación docente les preocupa cómo se toman las decisiones sobre la calidad docente. Una preocupación es la preparación que debe darse a la gente toma decisiones sobre los datos docentes. Hacer juicios es un área crucial de evaluación docente que rara vez se discute o se piensa. Usualmente este es el último paso de la evaluación (aunque la evaluación de la evaluación debería ser el último). Las decisiones sobre los juicios usualmente se examinan solo en los casos o insatisfactorios o más difíciles –como el despido controversial de un maestro- y solo se hace para ese caso en específico (Bridges, 1992; Lawrence et al., 1993).

Esta sección sobre los juicios sobre la calidad docente empieza con una revisión de literatura seleccionada. La literatura de investigaciones sobre la toma de decisiones en evaluación docente es escasa. De hecho se necesita hacer mucho sobre este tema. Esta sección revisa varios estudios empíricos y conceptuales de investigación que orientan muy bien para hacer un juicio defendible. La sección concluye con un resumen de una discusión de los roles de objetividad y subjetividad para juzgar la calidad docente y las implicaciones de los estudios. Hace falta pensar en esos temas y se hacen muchas suposiciones antes de aclarar los principios.

El primer tipo de literatura seleccionada para su revisión es la que aborda los juicios de evaluación docente. Son estudios y análisis sobre los sistemas de evaluación docente. La literatura revisada aquí incluye estudios empíricos y conceptuales. Como guía adicional, se presentan otros dos tipos de literatura sobre juicios humanos. Primero, la investigación fisiológica acerca de la toma de decisiones en los humanos que ayuda a entender algunas de las dificultades y limitaciones del juicio humano y cómo mejorar el proceso de evaluación docente. Segundo, descripciones de la toma de decisiones en los tribunales para entender otro escenario con paralelos de evaluación docente.

Evaluación educativa.Scriven (1973 a) creó un número de ideas claves para la evaluación docente como el perfeccionamiento de su modelo de programa de capacitación para el proceso de evaluación cualitativa en la educación. Aunque esas ideas fueron dirigidas en general a los problemas en los programas de evaluación, su importancia para la evaluación personal es clara. Scriven (1973 a) definió la evaluación educativa como:El proceso por el cual a los juicios de valor o mérito se les da una confirmación objetiva. Esta involucra muchas habilidades de diseño experimental y análisis de datos, incluyendo estadísticas, con un componente cualitativo importante. De alguna manera se debe desarrollar un marco de criterios de valor en cual insertar los datos observados, … que justifiquen dicho marco. (Module 1, p.1)

Scriven (1972, 1973, 1973c, 1976, 1977) planteó que la cuestión importante es ver de dónde se originan los juicios de valor del marco. ¿Sobre qué bases se puede saber si los datos presentados por los docentes para su evaluación son buenos? En especial esta es una pregunta importante porque mucha gente supone que los evaluadores deberían estar libres de valores, en el sentido que ellos no deberían subjetivamente interponer sus preferencias y creencias, sino dejar que la evaluación hable por sí misma.

Una fuente común de valores usados en evaluación docente es la declaración de objetivos de la empresa. (ej. programa, currículo, personal) Muchos evaluadores usan listas de programas u objetivos personales para comparar los datos recabados sobre la implementación

3

actual. Scriven señaló que la estrategia de discrepancia sed utilizó mucho en la evaluación formativa. Sin embargo, para hacer juicios sumativos, hay un índice mayor de valor que si la persona (o proyecto) está cumpliendo con sus objetivos planeados. Aún si la enseñanza cumple con sus objetivos del profesor o de la institución, no es todo lo que necesitan los clientes. Así que la evaluación es el responsable de ir más allá de las intenciones y metas del educador y dar una imagen más amplia del valor para los clientes, el público y la comprensión teórica de la profesión.

La tabla 3.1 presenta 10 tareas o vías de análisis (no precisamente en orden) recomendados por Scriven (1973 a) para preparar un juicio de evaluación la cual ha sido modificada para que corresponda a requerimientos específicos para la evaluación docente. Estas consideraciones son importantes ya que sugieren la profundidad y naturaleza del pensamiento del juicio de los datos de evaluación docente que se van a ensamblar. El análisis de las tareas de evaluación de Scriven es una guía sólida sobre la preparación y pensamiento requerido para juzgar a los maestros.

Peterson (1984) describió la evaluación docente como un proceso altamente crítico. La práctica común y actual de discrepancia en juicios (Provus, 1971), en la que la calidad del maestro es reconocida por diferencias entre un ideal a priori -una lista de varias conductas, características, tareas, actitudes, egresos, preparación y/o experiencia- y se evidencia la realidad del maestro bajo revisión. Se define un estándar de buena enseñanza y todos los maestros se comparan con ello. Esos maestros están muy cerca del ideal considerado como de más alta calidad.

Por ejemplo, al aplicar la discrepancia en evaluación docente se puede decidir un conjunto de conductas instruccionales (ej. claridad al dar una práctica guiada) que son claves en la buena docencia. Entonces, la observación y el reporte de anécdotas se utilizan como evidencia de que la docencia individual puede llevarse a cabo de dos formas: (basado en la competencia) o característicamente se lleva a cabo (basado en la ejecución) el proceso deseado; por lo tanto la calidad ha sido demostrada. Por el contrario, los maestros que no muestran estas conductas se puede decir que son de baja calidad docente. Un segundo ejemplo es para la discrepancia en el diseño de evaluación centrado en el perfil ideal de los alumnos. Con este ideal la evidencia se refleja en los productos de los alumnos. Los datos muestran el crecimiento en los indicadores en la calidad docente. La ausencia del aprendizaje de los estudiantes indica falta de calidad de los maestros.

En la evaluación de discrepancia, un ideal a priori se selecciona como un estándar para comparar o determinar las diferencias con el ideal. Algunos temas que son usados en sistemas de discrepancia incluyen conductas identificadas en la efectividad de la investigación docente (“basada en la investigación”, McGreal, 1983) competencias exhibidas por el docente ideal, (“basado en competencias”; Houston& Howsam, 1972), análisis o desempeño de los sistemas (“basado en el desempeño”; Heath & Nelson, 1974) análisis de las tareas del maestro (“basado en las tareas” Scriven, 1987), logros del estudiante (Berk, 1988), gerencial-administrativo (McGreal, 1983) o humanista (cualidades personales; Combs, 1965). El más reciente tema está basad en el conocimiento del docente (Shulman, 1987). La investigación y desarrollo de la evaluación docente que enfatiza la discrepancia es una investigación continua más apropiada para la comprensión a priori de la calidad docente.

Una de las supuestas ventajas de los criterios de discrepancia es que son objetivos y supuestamente más precisos y justos que los criterios subjetivos. Se han fecho afirmaciones sobre que las decisiones de discrepancia están libres de prejuicios, arbitrariedades y alejadas del conocimiento del juez humano, quienes deben operar subjetivamente. Sin embargo como se explica en la siguiente sección en los juicios docentes, la superioridad no es clara en los análisis más cercanos.

Sin embargo, apelando a la lógica de la evaluación de discrepancia y a la comprensión a priori de la calidad docente, hay fallas significantes al usarlas en evaluación docente (Peterson, 1984). Primero, una lista incomprensible de lo que en un maestro no existe. Una tarea del maestro varía mucho de los actos mundanos, repetitivos y pedantes con las más

4

espectaculares reacciones perceptivas y creativas innovaciones. Cada descripción de trabajo que hasta ahora disponible, ha capturado solo una parte del universo total de ese trabajo. El trabajo de un maestro es abierto y complejo ya que está controlado por el maestro o por el distrito escolar. La descripción de un trabajo común o las evaluaciones basadas en tareas pueden capturar mucho de lo que se supone hace un maestro, pero todo deja un importante y significante recordatorio.

Una segunda falla en el enfoque de discrepancia de la evaluación docente es que alguna descripción completa de un trabajo no iría de acuerdo. Aún si una descripción enciclopédica de las tareas docentes pudiera ser descrita, diferentes puntos de vista sobre educación, tales como conductuales, cognitivos, pragmáticos o clásicos hacen una lista de tareas inservible. El supuesto de que en las primeras etapas de ensamblar la descripción completa del trabajo del maestro consiste en un acuerdo entre evaluadores está en el horizonte. De hecho no es así.

Tercero, el contexto de la enseñanza se refiere a diferentes actuaciones o soluciones como si fuera apropiado. La descripción ideal de comportamiento docente, competencia o enfoque se asume en un contexto específico. Un cambio en el contexto puede referirse a un acto opuesto. La lección estructurada solicitada por los alumnos principiantes sobre fundamentos de materiales da paso a una enseñanza menos estructurada para alumnos avanzados de aplicaciones elaboradas. La buena enseñanza significa que los maestros perceptivamente asuman diferentes tareas como se establece en una instrucción específica.

Cuarto, los maestros son efectivos por diferentes razones y con estilos variados. Aunque todos los maestros necesitan tener éxito al comprometer a sus alumnos en el aprendizaje, esto puede lograrse al dar detalles específicos o dejando que los estudiantes inventen, dirigir uniformemente o permitir a los estudiantes ser independientes; tener a los estudiantes que reaccionan la enseñanza negativa o los que imitan los buenos ejemplos del maestro; estudiantes que responden a la personalidad atractiva del maestro o que lo evitan; proveer estructura y oportunidad, inspiración o aburrimiento, creatividad o espontaneidad; oportunidad de satisfacerse o satisfacer a los otros, flexibilidad o rigidez para adherirse a los planes. Las combinaciones de la enseñanza son muy variadas para reducirse a un determinado concepto a priori que puede ser usado para evaluar la docencia buscando la discrepancia.

Quinto, un problema teórico de evaluación docente de discrepancia es evidente cuando los sistemas comunes no abarcan situaciones cuando el reconocimiento de un buen maestro no encaja en los criterios a priori. No importa cuanta calidad docente se defina, uno puede señalar casos de práctica excelente que contradice la definición específica. Por ejemplo:

El análisis de un grupo de maestros altamente efectivos lo que sugiere que tiene características de perspectiva interpersonal que coloca los problemas de los estudiantes por encima de los problemas docentes, se espera solucionar los problemas y repasar los valores con los estudiantes. Desde esta perspectiva, hay una relación demostrada (correlación) con el aprendizaje de los estudiantes se considera que tiene un valor inherente. Este valor a priori es aplicado a la maestra Betty Jones quien considera el aula como la provincia del maestro y no un lugar para resolver problemas individuales de los alumnos, tiene rutinas para los problemas previsibles y no programará conferencias individuales para los alumnos. Ella tiene un excelente puntaje de los alumnos, sus alumnos la evalúan muy bien y disfruta la admiración de sus colegas. Adicionalmente se evidencia que sus alumnos no son autosuficientes y no se incluyen otras actividades escolares.

Aún un caso de simple inconformidad, debilitaría el respaldo teórico del sistema de evaluación, de acuerdo a Peterson, es que ellos inevitablemente involucran criterios y aplicaciones que son claramente injustas para algunos individuos o grupos. Viendo esas injusticias otros maestros previenen el sistema desde la operación. Algunas definiciones particulares de la calidad docente enfrentan presiones aplastantes en la práctica cuando se usan como una descripción única y universal. Aún las combinaciones a priori (avaladas frecuentemente por comités) enfrentan el mismo el problema.

5

Peterson (1984) sugiere como una alternativa a la discrepancia actual en la toma de decisiones el uso de juicios emergentes en los cuales la “el impacto actual demostrado y el mérito de los maestros son usados como base para valorar los juicios y decisiones. Esencialmente se hace un análisis diferente para cada maestro en términos de lo que el maestro ha hecho dentro de un planteamiento específico. La atención crucial está en la ejecución particular de los elementos salientes. Ya sea que los elementos sean considerados metas, efectos secundarios o resultados únicos o procesos.

El énfasis está en la actual ejecución docente o resultados. La base para los juicios de valor es cómo los hechos y resultados aparecieron en un caso actual de enseñanza” (pp.64-65)Desde esta óptica, el juicio para el mérito docente tiene cuatro premisas:

1. La enseñanza es un fenómeno complejo con soluciones deseables múltiples o expresiones de valor,

2. El valor en la enseñanza está relacionado directamente con la audiencia,3. El valor en la enseñanza depende del contexto y 4. El valor puede tomar en cuenta un precursor, proceso o potencial así como también la

utilidad (p.66)

La pregunta adecuada para decidir sobre la calidad sería: “ ¿Se puede argumentar que: una solución o expresión dada?, ¿la expresión es un valor defendible? ¿El valor es para una audiencia específica? Y ¿La expresión ocurre en un contexto que sugiere mérito? (Peterson, 1984 p. 66) Usando un punto de vista emergente la evaluación docente es un proceso para elaborar asuntos de calidad. Se usan como líneas de apoyo la evidencia o fuentes de datos y después los juicios de los asuntos individuales para la adecuación ó mérito comparativo.

Popham (1987) discutió la necesidad de un “buen juicio profesional” para la evaluación docente. Criticó lo que llamaba la “burbuja de champaña” en el enfoque de la evaluación al usar muchos objetos detallados en una lista en la cual el proceso jurídico puede ser evitado por completo o aún mejor, subdividido en una serie de juicios minúsculos que no son simples por sí mismos, es muy importante” (p. 25). Popham llamó a los educadores a mostrar valor y usar “el único instrumento capaz de tratar con la enorme complejidad de un esfuerzo instruccional del maestro… juicio profesional” (p. 28)

Alternativamente Mehrens (1990) representó bien la tradición de evaluar reduciendo los fenómenos complejos a números. Discutió los beneficios de usar datos de múltiples fuentes para puntuaciones sumativas o para la toma de decisiones. Distinguió entre el método clínico y estadístico de datos combinados. Los métodos clínicos son definidos como “un vistazo a las partes de los datos que conllevan a una puntuación o decisión final” (Mehrens, 1990 p.324), mientras “que la ponderación estadística se usa en las ponderaciones fijas para el dato en una ecuación matemática (p.324). Mehrens citó investigadores quienes dicen que la predicción estadística es mejor que la predicción clínica sea mejor cuando un criterio de medida (un número que indique la calidad del maestro) es posible. Nisbett y Ross (1980) sostienen que las predicciones estadísticas son preferibles incluso cuando los resultados son “algoritmos lógicamente derivados” (Mehrens, 1990), tales como serían usados en las decisiones de la evaluación docente.

Psicología de la toma de decisiones.Nisbett y Ross (1980) proporcionaron una visión extensa de la psicología de la toma de decisiones, enfocada especialmente a las estrategias y deficiencias de la inferencia humana. Su tesis fue que la inferencia intuitiva de los laicos es mucho menos confiable que la inferencia estadística de los científicos formales. La ventaja de los científicos formales que toman decisiones acerca de la calidad es que usan principios normativos. (de acuerdo con procedimientos de pruebas y estándares de calidad, por ejemplo el rastrillo de Occam) y tres herramientas de inferencia. Dichas herramientas son: a) estructuras del conocimiento, información amplia y específica, b) juicios heurísticos, búsqueda activa de datos para

6

categorías de espera, c) ponderación de los datos de relevancia e intensidad, información clasificada por importancia y oportunidad. Los científicos también reunieron datos (muestras confiables), reconocen la covarianza, buscan inferencias causales, predicen y prueban sus teorías.

“Los autores también contrastan la toma de decisión con la de un laico quien puede usar estrategias de inferencia simplistas más allá de sus límites apropiados” (Nisbett & Ross, 1980 p. 3). Como resultado, “en una experiencia social ordinaria, la gente frecuentemente busca y ve el dato equivocado y frecuentemente fallan al hacer la pregunta sobre ese dato y frecuentemente ponderan los datos de manera inadecuada” (p.12) Estas precauciones tienen implicaciones importantes en cómo decidimos juzgar a los maestros. Una buena evaluación docente debe protegerse de esos contra esos problemas demostrables al tomar decisiones atendiendo a los prejuicios y a la capacitación de los jueces.

Los remedios recomendados por Nisbett & Ross son métodos de los científicos profesionales o científicos sociales capacitados. Primero, quienes toman decisiones deberían adoptar procesos normativos: “un consenso entre los científicos formales sobre que la norma es apropiada para un problema particular” (p.13). Segundo, los que toman decisiones deberían aprender el pensamiento y método estadístico (conceptos de covarianza, regresión, probabilidad). Tercero, los autores reconocieron que “los que más impresiona (tomar decisiones) es resultado de un esfuerzo intelectual organizado” (p. 250). Esto es, que la toma de decisión de inferencia puede ser mejorada si se lleva a un contexto social. Esto ocurre por tres razones: el grupo de toma de decisiones permite una transmisión cultural de conocimiento, un grupo impone controles de calidad efectivos y el acuerdo que resulta frecuentemente funciona muy bien, aún si no es del todo apropiado.

Aunque mucho de lo que ha escrito Nisbett & Ross (1980) se centró en los problemas psicológicos de la toma de decisiones humanas, eran optimistas en que la inferencia defendible se pueden hacer usando menos de las más estrictas estrategias de los científicos profesionales. Las normas de la ciencia aplicada están menos interesada en la naturaleza subyacente de la realidad y más interesadas en la flexibilidad del mundo real, son adecuadas. También los que toman decisiones se les pide que solo usen la teoría en vez de probarla. Y los requerimientos de los que toman decisiones son de acción más que de comprensión. Finalmente los costos de utilidad de los que toman decisiones no están siempre justificados frente a los de las estrategias intuitivas.

Nisbett & Ross (1980) aconsejaban sobre una formación de alta calidad de los que toman decisiones. Primero, los jueces deberían formarse en la precondiciones del buen juicio: sensibilidad ante la posibilidad de error y visibles demostraciones de errores y sesgo. Segundo: los jueces deberían formarse en estadística: que incluya inferencia, probabilidad, regresión y covarianza. Tercero, los que toman decisiones deberían encontrar ilustraciones concretas y anécdotas viva. Cuarto, los formadores deben usar frases y eslóganes como “es una pregunta empírica” para enfatizar las ideas claves de la inferencia científica formal. Este consejo es de gran valor para desarrollar un buen programa de evaluación docente especialmente para preparar los paneles de revisión docente.

Psicólogos como Nisbett & Ross (1980) y Meehl (1954) han distinguido los juicios clínicos de los juicios estadísticos. Los últimos son preferibles ya que se basan en procesos más confiables. En las decisiones estadísticas los argumentos son más convincentes y fundamentados. Gathercole (1968) describió la rutina estadística ideal de la toma de decisiones para psicoterapia:

“El objetivo es producir una prueba con estandarización de manera que cuando se administre a un paciente, su puntuación pueda ser comparada con la puntuación tabulada de grupos de estandarización y por consiguiente puede ser clasificado. Cuando la investigación ha producido el tipo de dato para que este método sea adecuado no hay interpretación subjetiva del resultado y no se usa la perspicacia clínica en la clasificación de la puntuación de un paciente individual. Una vez que el paciente ha producido una puntuación la clasificación de esa

7

puntuación la puede hacer cualquier persona entrenada para leer las tablas, la persona que Meehl llama a secretario de estadística” (p.44)

Este ideal de toma de decisiones estadístico tiene un paralelo en la evaluación docente, donde muchos evaluadores han buscado sistemas de puntuación numérica que permita solo a los secretarios leer el juicio final de calidad (Erffmeyer & Martray, 1990). En un sistema de evaluación no hay necesidad de juicios clínicos, falibles y subjetivos.

Sin embargo, los que toman decisiones estadísticas en evaluación docente deberían asumir el reto de avocarse a defender la superioridad de los objetivos. Primero, las decisiones clínicas son altamente defendidas cuando se basan en la experiencia, formación y actuación pública. Como describió Rodger y Mowbray(1961)

“El clínico se comporta como artesano que asiste rápidamente a lo que cree que es importante, desarrolla su habilidad con la experiencia y su involucra la economía de esfuerzo. Como otros artesanos, esta depende de la asimilación de un conjunto de conocimientos que se comparten con otros, pero la experiencia se incrementa con la práctica hasta que el practicante es capaz de reconocer las características clínicas significantes con tal rapidez que el razonamiento no es visible para los principiantes. (p.167)

También las decisiones clínicas pueden ser guiadas por la inferencia estadística apropiada, cuando se dispone de ellas. Finalmente la construcción de la calidad docente no es tan sencilla para reducirse a una simple decisión estadística.}

El reto de Scriven (1976) continúa con el reto de la superioridad de los juicios estadísticos. Hay que recordad que Nisbett & Ross (1980) tenían la idea de que un científico tome las decisiones. Scriven (1976) sostenía que la ciencia significa juicios de valor (como se hace en la toma de decisiones clínica):

“No puede haber cosa como la ciencia si no fuera así, la ciencia no fuera una actividad evaluativa. La ciencia solo se puede distinguir de la seudo-ciencia de una manera: al distinguir la buena de la mala evidencia, entre el diseño de un buen experimento y uno malo, entre los buenos instrumentos y los malos y entre los buenos argumentos e inferencias como de los malos. Esos son los juicios de valor sobre los que descansa la posibilidad de la ciencia. Las palabras “ciencia y científico son también evaluativas son parte del bien sostenido cuerpo de reclamos, a diferencia de los mal sostenidos”. (p. 364)

Las decisiones que usan ciertas medidas, que seleccionan una herramienta y no otra, que analizan de cierta forma y no de otra y las que interpretan de una forma y no de otra, son todos juicios clínicos. En realidad una forma de pensar en los juicios estadísticos es que no son más que una amplia etapa de una línea extendida de juicios clínicos.

Estos temas acerca de la toma de decisiones clínica y estadística son importantes para diseñar un sistema de evaluación docente. Los sistemas comunes buscan presentarse como argumentos estadísticos: contar tantos puntos, lograr ciertos niveles o escalas y coincidir con la estadística y las descripciones específicas, se toma la decisión más confiable (Erffmeyer & Martray, 1990). Popham (1987) llamó a este un vuelo de responsabilidad y retó a los evaluadores docentes a regresar a sus responsabilidades clínicas.

JurisprudenciaUn tercer tipo de literatura es útil para entender el proceso para juzgar las pruebas del desempeño docentes que se relacionan con la toma de decisiones de juicios en el sistema legal. Aquí un grupo de personas escuchan las pruebas, discuten sus reacciones, votan y deliberan una decisión.

Un área particular de investigación proporciona una guía valiosa sobre los datos que se usan en juicios de evaluación docente. O´Barr (1982) resumió literatura científica sobre la capacidad de persuasión del lenguaje en la corte. Reportó que ciertos estilos eran altamente efectivos para transmitir que quien hablaba era competente, confiable, dinámico, atractivo y convincente. Estos patrones incluían un discurso poderoso (sin apariencia, super cortés, preguntas de etiqueta y presencia de sentido del humor y parafraseo); una buena narración (no fragmentada), buen uso de la gramática (no rebuscado) e intercambio balanceado (sin conflicto,

8

sin prepotencia). O´Barr también encontró diferencias significantes que favorecían a los testigos varones. Otras pruebas sobre la efectividad de testimonio, incluían la estructura, organización, interacción, la narración, conclusiones explícitas, uso de emociones y el orden de la presentación. Estos hallazgos mostraron que la injusticia y un sesgo irrelevante tenían cabida al tener a los maestros presentando sus propias pruebas de calidad de su desempeño. Lloyd-Bostock (1989) describió una serie de estudios psicológicos acerca de juicios en la corte que eran importantes por el diseño de los paneles de defensa de la evaluación docente. Ella expuso la importancia de instrucciones claras en los juicios. En particular es importante usar un lenguaje simple y directo. Esto incluye oraciones cortas, omitir palabras y frases inusuales, evitar las negativas y seguir una serie de pasos lógicos. Las instrucciones a los miembros del jurado se las deberían dar después de que ellos escuchen las evidencias. Las instrucciones deberían darse por escrito y de forma verbal. La toma de notas se debe alentar. Finalmente, es muy difícil que los miembros del jurado sigan la instrucción “hagan caso omiso de esa información.”

Lloyd-Bostock (1989) proporcionó información útil acerca de la deliberación del jurado para establecer los paneles de revisión de una evaluación docente efectiva. Aunque Kalven y Zeisel (1996) encontraron que las deliberaciones del jurado cambiaron poco los resultados, hay otras funciones para la discusión social antes de emitir el veredicto. Una mayor precisión (recolección) de prueba se logra al agrupar puntos de vista. Segundo, los sesgos preexistentes son neutralizados en un estado de ánimo negativo y son disipados por la deliberación. Lloyd-Bostock también proporcionó evidencia de que el grupo de deliberación facilita la flexibilidad. Lloyd-Bostock reportaron un estudio adicional sobre funciones del jurado. Primero, el estatus social externo del grupo influencia el estatus social creado en el grupo. Segundo, el tamaño del jurado es importante en las deliberaciones: “Experimentos con seis personas en el jurado muestra que usualmente todas hablan, mientras que en un juicio de 12 personas los jurados individuales no hacen contribución alguna a la discusión (p. 58).

Hestie-Penrod-Pennington (1983) definieron patrones importantes en la deliberación del juicio. Los primeros votos preliminares transforman las deliberaciones primarias a resoluciones del conflicto. LAS votaciones secretas fomentan las divisiones. Estos autores distinguían entre el veredicto conducido y la evidencia conducida; esto es que las primeras votaciones en un proceso de deliberación llevan a las decisiones del veredicto conducido ya que las posiciones se toman y se defienden.

Literatura selecta: Estudios empíricos McCarthey y Peterson (1987) reportaron un estudio que comparaba juicios docentes de pares múltiples con juicios individuales de directores. Los temas en este estudio usaron docentes seleccionados y materiales que presentan los docentes como base de las recomendaciones para los premios en el escalafón docente en el programa de estímulos. Los autores encontraron que los juicios docentes eran más críticos y selectivos que los juicios de directores. En 50 revisiones los directores recomendaron 45 (90%) para los premios en el escalafón docente, mientras que los panelistas docentes recomendaron solamente 36(72%).Los revisores reportaron altos niveles de confianza y satisfacción en su habilidad de hacer juicios de evaluación docente. Los autores concluyeron que los equipos de maestros eran capaces de tomar decisiones altamente defendibles con respecto a la calidad de los materiales docentes.

Peterson (1988) hizo un estudio de la confiabilidad del panel de juicio en un sistema de escalafón docente en el cual 26 miembros candidatos a promoción revisaron 12 expedientes. Los panelistas en el estudio tenían experiencia en el distrito sobre los paneles de promoción. Los expedientes contenían información de un mínimo de cuatro fuentes tales como encuestas de estudiantes, reporte del administrados, materiales revisados por pares, pruebas del maestro, encuesta de los padres, datos obtenidos. En total, 73.1% de las 312 decisiones se fueron a promoción. Los panelistas estuvieron de acuerdo con el 90.4% de las decisiones (Cohen´s kappa= 0.81). Para el objeto del estudio, se les pidió a los jueces que acomodaran los expedientes en orden de calidad (esto no es recomendado en los programas de evaluación

9

docente). El rango medio de correlación (Spearman´s rho) entre el jurado individual y un jurado compuesto simple era de 0.84. Peterson (1988) concluyó que los grupos de docentes pueden tomar decisiones altamente defendibles respecto a la a la calidad de la información de los maestros: “Estos hallazgos sugieren la consistencia defendible y prometen una práctica alternativa de evaluación docente”. (p. 95)

Mehl y Dahlstrom (1960) reportaron estudios en los cuales compararon la toma de decisiones estadística con el método clínico. Utilizaron 16 reglas para calificar 988 pruebas de resultado del inventario de personalidad multifacética de Minessota (MMPI) que indica condiciones neuróticas y sicóticas que se llegaron a la categorización correcta del 76% (de acuerdo a la clasificación de un estudio de caso). Los autores compararon juicios clínicos de 29 psicólogos de Minessota y se revisaron las respuestas en el MMPI para la misma distinción. Ninguno de los clínicos identificó correctamente las reglas objetivas como muchos pacientes lo hicieron. Este estudio favoreció la toma de decisiones estadísticas pero en un conjunto de criterios simples y estrechos. Esto es, que los juicios clínicos tuvieron muy poca información para basar sus opciones en ellos (solo las respuestas de MMPI).

Peterson (1990b) hizo una simulación por computadora de juicios profesionales para la promoción docente, usando el programa de computadora como un sistema experto. El sistema experto DOSSIER consistió en 111 preguntas organizadas en 117 reglas (Peterson 1987b). Las preguntas y las reglas se derivaron de entrevistas a miembros del panel de escalafón docente en Utah. Los jueces humanos usaron un sistema de toma de decisiones clínico. DOSSIER representaba un método estadístico de combinación de datos múltiple, específicamente un sistema compensatorio (Mehrens, 1990).

Peterson (1990b) encontró que DOSSIER recomendaba una tasa de promoción del 75% comparada con el 73% de los 26 jueces humanos. El sistema experto de computadora estuvo de acuerdo con el 90. 7% de las 312 decisiones de los jueces. DOSSIER tuvo el 100% de acuerdos con la mayoría de las decisiones de promoción como la tuvieron 10 de los 26 jueces humanos. El orden de puntuación media del coeficiente de correlación (Spearman´s rho) del sistema experto con el de los jueces humanos fue de 0.77, comparado con el valor correspondiente entre 325 juicios-pares de 0.73. Seis de los 26 jueces humanos calificaron en las más altas correlaciones con el consenso que tuvieron con el sistema experto.

Estos hallazgos demostraron que la estadística es un apoyo para quienes utilizan juicios humanos clínicos. Sin embargo, la simple concordancia estadística no significa que se hayan hecho los mejores juicios de calidad. Que unos estén de acuerdo con otros no es el único argumento para hacer un juicio mejor, aunque hay consideraciones importantes. Las opiniones de la minoría pueden tener perspectivas valiosas. El argumento estadístico es que la varianza más baja es el indicador de calidad. El juicio humano puede pedir el reconocimiento de idoneidad, casos especiales y el sesgo justificable. La calidad docente puede ser más compleja que un resumen numérico de relaciones. Ciertamente, el juicio de calidad docente es solo un fenómeno.

Un ejemplo de lo que dice DOSSIER. El estudio del sistema de promoción tuvo la regla clara de que se requerían cuatro líneas de evidencia. Sin embargo, un maestro de arte presentó tres: dos muy fuertes y la otra excepcional. La línea sobresaliente era de la organización de un festival de arte en la comunidad en el que los estudiantes no solo mostraron sus trabajos sino que organizaron negocios, horarios y gobiernos municipales para poner en marcha un programa educativo para la comunidad. DOSSIER decidió no promoverlo mientras que la mayoría de los jueces lo hicieron. DOSSIER actuó bien, pero nada debería sustituir el proceso humano de la toma de decisiones. LA calidad docente es un fenómeno emergente que requiere reconocimiento del contexto, necesidad, y comparación para reconocer la calidad.

Investigar sobre las condiciones sociológicas de los maestros sugiere que se requieren cambios importantes conscientes y deliberados para los maestros que empiezan a juzgar la calidad docente de otros. Ese mismo estudio muestra las necesidades y los beneficios de tales cambios. En la actual cultura docente no se considera deseable juzgar al otro. También no es una buena manera hacer pública una práctica excepcional. Por lo tanto los distritos deben

10

esperar toparse con resistencia, incomodidad e incluso la resistencia a una mayor participación de los maestros. Una vez que esas inhibiciones para participar desaparezcan, los maestros se convertirán en jueces buenos y entusiastas (McCartney y Peterson 1987).

Los sociólogos reportan que actualmente los maestros están muy distantes de los juicios de evaluación individual (Johnson, 1990; Lortie, 1987). Ponen en peligro la delicada relación que es necesaria para el buen funcionamiento cotidiano. En la actualidad los maestros no están en posición de reconocer o alabar la buena práctica. Aparte de la resistencia para ser juzgados los maestros ven con gusto la amenaza de escasez de los premios que están disponibles para todos los maestros. Finalmente, hace falta confianza de parte de los maestros para participar en las evaluaciones (Kauchak et al, 1985).

Los cambios requieren reconocimiento de las políticas dinámicas y emocionales de la evaluación, programas de prueba para ganar experiencia y un comité de maestros para hacer estas innovaciones profesionales (Peterson & Chenoweth, 1992). Jueces de maestros por maestros no serán impuestos por administradores, políticos o ley pública – los maestros están en una posición fuerte para hacer valer cualquier decreto. La mayor participación docente puede iniciarse y ponerla a disposición de los maestros, la mejora de la evaluación docente es primordial y es una oportunidad para los propios maestros.

La objetividad frente a la subjetividad: una sumaMucho del pensamiento convencional sobre evaluación docente dicen que un buen juicio sobre calidad docente debería tener es que sea subjetivo. La evaluación objetiva debería ser fácil de consensar para aquellos que la ven. Las buenas decisiones requieren un poco de razonamiento y discusión. Si el razonamiento se da, las decisiones se hacen bien y se establecen bien. Debe ser muy poco el espacio o la necesidad de un juicio discrecional o relativo (ambos atributos de subjetividad) los cuales deberían evitarse a toda costa. La evaluación de discrepancia se sostiene como un buen modelo porque ofrece la esperanza de alto nivel en el acuerdo público acerca de los ideales; los métodos para documentar la práctica actual y las demostraciones de discrepancia (McGreal, 1983; Provus, 1971; Stronge & Helm, 1991).

Esta sabiduría convencional necesita ser un reto. Las decisiones sobre evaluación docente se toman en relación con las necesidades de los clientes y la audiencia. Estas necesidades pueden ser ambiguas y estar sujeta a la perspectiva de los participantes, observadores o el patrón. Las decisiones sobre necesidad y calidad son juicios de valor hechos por seres humanos. Así que las decisiones de la evaluación docente poseen una subjetividad inherente. Sin embargo, como Scriven (1973ª, 1976) dijo que hay subjetividad buena y subjetividad mala.

La buena subjetividad requiere cuatro elementos: 1) que la lógica de la acción sea explícita, 2) las decisiones se tomen sobre las mejores evidencias objetivas de las que se dispone, 3) que estén balanceados los prejuicio inherentes y 4) que estén involucrados los intereses de todas las partes. Por ejemplo, los juicios sobre la adecuación de las relaciones del maestro con los padres son mejores cuando la lógica de la interacción docente con los padres se describe y justifica antes de que se lleve a cabo la acción. Los juicios son mejores cuando se basan en los resultados de encuestas sistemáticas y es preferible que sean sobre un periodo de 3 años sobre las impresiones de un director. Los juicios son mejores cuando se involucran maestros, padres de familia y administrativos para ejecutar los procesos usados para obtener y usar la base de datos. Finalmente los juicios son mejores cuando las decisiones las toman un comité de maestros, administradores y padres quienes contribuirán a los juicios y les darán sus respectivos valores.

Muchos sistemas de evaluación actuales quieren evitar la subjetividad a través de la sobre-cuantificación (ej. Erffmeyer & Martray, 1990; Popham, 1987; Rakoe & McLarty 1990). Esto es porque buscan un sistema de evaluación que reduzca el desempeño docente a escalas y categorías que reciban un rango categórico o numérico. Entonces los componentes son de alguna manera agregados y resulta un número final. La solución numérica juzga a los docentes

11

más que el juicio de las personas. Esto puede ser cómodo para quienes no han sido juzgados subjetivamente por otros, pero de hecho han sido subjetivos al establecer el sistema de objetivos.

Este proceso, remueve poco la subjetividad del juicio final y lo ubica en una serie de decisiones subjetivas preliminares. ¿Por qué hay ciertas categorías de conducta elegidas para calificarse y no otras? ¿Quién decidió qué indicador pesa más que otro? ¿Quién decidió reunir algunas evidencias (opciones de alumnos) e ignorar otras (logros de los alumnos)? Todas estas preguntas son subjetivas y agregadas para hacer complejo el sistema de evaluación tan subjetivo como el sistema de juicio profesional recomendado en este libro.

Implicación de estudiosLos métodos para juzgar la calidad docente a través de informes recomendados más adelante en este capítulo, se basan en los juicios clínicos de los paneles de revisión de la evaluación a nivel de distrito. Se recomienda que los paneles de revisión los integren cuatro miembros: dos administradores y dos padres. La validez de tomar esta decisión se basa en usar las mejores evidencias disponibles, usar juicios múltiples para balancear los prejuicios, tomar decisiones sociales y apoyarse en los juicios clínicos. A los maestros no se les permite discutir sus materiales en persona. Aunque la deliberación del panel de revisión tal vez no cambie en mucho las decisiones de evaluación docente, esta ha establecido funciones adicionales (es decir desarrollo y diseminación de las ideas educativas y la mejora de los conocimientos técnicos de los miembros del panel). Un número de estudios empíricos apoyan el deseo de esta estrategia recomendada para determinar la calidad docente.

Una definición de calidad en la enseñanzaUn concepto de calidad en la enseñanza es importante a fin de que los educadores hablen acerca de los valores y el diseño efectivo de los procesos de evaluación. Cada enfoque de evaluación implica un concepto de calidad. Las discusiones posteriores en este libro son acerca de cómo se documenta una buena enseñanza basada en el entendimiento de lo que constituye la buena enseñanza.

Una alternativa a la evaluación de discrepancia: La calidad en la enseñanza como un fenómeno emergenteEste libro utiliza una visión diferente de calidad de la enseñanza que confían en un a priori ideal. Antes de generalizar precipitadamente en qué consiste la calidad en la enseñanza, especificaremos las maneras de reconocer la calidad cuando emerge de un caso específico de enseñanza (Peterson, 1984). Para los fines de la evaluación docente, es posible reconocer (y acordar) el valor de un acto específico o caso de enseñanza en un entorno dado y un cliente específico. Lo que nosotros buscamos es un juicio profesional (o clínico) más que una discrepancia altamente definida y explicita de un ideal descrito. En vez de la adhesión a un ideal, los métodos en este libro se basan en la siguiente definición de calidad de la enseñanza:

Un acto educativo específico o solución que reúna las necesidades educativas demostradas (prioridades demostradas) de los clientes. La calidad es mejor reconocida por los participantes u otros representantes. La calidad puede estar en la utilidad, proceso o potencial docente para la educación. El acto o solución de la enseñanza es un valor en un contexto específico y para los clientes, audiencia y otros participantes que les interese. La enseñanza reúne requerimientos éticos y de justicia. La calidad se entiende mejor en comparación con otros competidores en términos de efectividad, costos, durabilidad y efectos secundarios. (Esta definición se basa en gran medida en las ideas de evaluación educativa cualitativa de Scriven, 1972, 1973ª, 1973c, 1987, y las ideas del juicio profesional de Popham, 1987).El concepto de calidad docente es significativamente diferente de la evaluación de discrepancia (McGreal 1983; Provus, 1971; Stronge & Helm, 1991) y tan ampliamente utilizado en la práctica actual de la evaluación docente. En el punto de vista usado en este libro, es posible reconocer

12

la buena enseñanza después de que ésta ha ocurrido para llevar a cabo una útil y significativa evaluación docente.

¿Cuál es la diferencia?La diferencia entre la evaluación emergente y la de discrepancia radica en el cómo los maestros son juzgados. En la evaluación de discrepancia, el diseño consiste en tener un instrumento con el cual todos los maestros sean evaluados, o se usan las medidas múltiples para especificar una ponderación entre las medidas que pre-especifican la calidad. En el punto de vista emergente, el esfuerzo de la evaluación es para documentar la práctica o llevarla a cabo después de que ésta ha ocurrido, luego reconocerla y describir su valor a través de los juicios humanos.

La participación de los maestros y el control de su propia evaluaciónLos maestros necesitan tener un papel activo en la toma de decisiones de su propia evaluación (Peterson & Chenoweth, 1992). La principal razón técnica para dicha participación es que los maestros están en la mejor posición de conocer los indicadores clave de impacto en su propio caso. Así que ellos son capaces de seleccionar la mejor combinación de fuente de datos para su propia evaluación. Su participación aumenta la precisión y propiedad de la evidencia para juzgarlos. Ya que los datos de auto-selección podrían despertar dudas en la mente de los consumidores, la credibilidad se puede incrementar al usar personal independiente a la evaluación para reunir y resumir los datos, incrementando la participación de pares, estudiantes y administradores adicionales.

El segundo argumento para hacer extensiva la participación docente y el control al seleccionar la fuente de datos es un argumento sociológico. Los sistemas de evaluación docente requieren el respaldo de los maestros. La actual participación pasiva de los maestros no es suficiente para apoyar la evaluación más comprensiva. Las nuevas garantías tales como establecer la tranquilidad pública y docente, y la nueva y más extensa recopilación de datos, tales como las encuestas y las guías para registro de actividades, exigen un nivel alto de control y participación docente.

La estructuración cuidosa de los recursos de evaluación docente de una escuela de distrito requiere de una óptima participación docente. Se requiere de las siguientes tres provisiones para incrementar el control y la participación docente:

Consulta e información técnica Los maestros requieren información y consejo acerca de cómo participar mejor en un extenso sistema de evaluación docente. Esta preparación requiere de algún entrenamiento sistemático (como cursos en servicio) y oportunidades para consulta sobre situaciones individuales. Los maestros necesitan información sobre cómo funcionan las fuentes de datos, sus limitaciones y utilidades. Necesitan entrenamiento para el uso y almacenamiento de datos. Otra información incluye la comprensión política y sociológica de los datos de la evaluación docente, por ejemplo, la legislatura del estado encuentra relación entre el desempeño del alumno y los gastos más útiles, la asesoría de pares incrementa algún tipo de seguridad docente mientras amenaza otros.

Unidad de evaluación independienteLos maestros necesitan asesoría al recolectar e interpretar datos. Sin embargo, esta ayuda no debería venir de la gente que hace el resumen de la evaluación en el distrito (Popham, 1988). Los maestros, incomprensiblemente, se muestran renuentes para usar y explorar datos que tal vez puedan ser usados en su contra. En realidad, la reticencia actual de los maestros para apoyar una evaluación seria y comprensiva muestra la necesidad de separar la función formativa de la acumulativa.

Se recomienda que el distrito forme una unidad independiente de evaluación formada por administradores, líderes elegidos por los maestros y ayuda administrativa. La unidad da

13

información, provee encuestas y otros materiales y asesora con la presentación e interpretación de datos. En el capítulo 18 se describe ampliamente la organización de esta unidad.

Que los maestros seleccionen las bases en dos niveles Los maestros deberían tener dos niveles de control en la evaluación docente: colecta y presentación de datos. Primero, los maestros eligen de entre la posibilidad de fuentes de datos la que mejor cuente su historia. Estas decisiones se basan en lo que está disponible, lo que es adecuado y (en el mayor de los casos) en los datos que se perciben mejor. Los maestros pueden tomar las primeras decisiones de fuentes que no son las más confiables pero optarán por otras si no están seguros.

El segundo nivel de control para los maestros viene después de que los datos hayan sido recolectados y revisados por los maestros. En este punto, los maestros pueden optar por tener los resúmenes de los datos guardados en expedientes profesionales y usarlos para tomar la decisión de una evaluación y divulgación subsecuente. O los maestros pueden elegir devolver la documentación original (formatos de la encuesta, las notas de revisión por pares) y no tener un registro de la actividad de evaluación o los resultados los mantiene guardados la unidad de evaluación o el distrito. Esta opción permite un mejor sistema de revisión y recopilación de datos. La lógica del mejor sistema de evaluación se discute en el próximo capítulo. Para la mayoría de los maestros, de cuatro a seis tipos de datos conforman el argumento más fuerte de calidad.

Costos de la evaluación docenteNo se discute un adecuado sistema de evaluación docente sin considerar los costos. La mayoría de las escuelas de los distritos actúan como si la evaluación docente tuviera ningún gasto; es normal y es parte de la responsabilidad del administrador. Sin embargo, dos verdades de la vida es que al amor le duele los costos de la evaluación. Los gastos de la evaluación docente incluyen la recopilación de datos, la toma de decisiones, uso de personal, y la emoción de los participantes. Hay costos de la evaluación morales, en términos de dinero, tiempo y materiales. También hay gastos para implantar el sistema de evaluación docente (entrenamiento y ruptura) y costos de no hacer las actividades que se impiden por la evaluación (tiempo de servicio adicional en la evaluación sobre otros temas).

El valor de la evaluación docente se debe entender en relación a los costos. Para vislumbrar un análisis específico y explícito de costo-beneficio son necesarias discusiones y más discusiones acerca de instrucciones nuevas, adopción de nuevas políticas y técnicas específicas. Algunos grupos en cada distrito escolar necesitan tomar una determinación comprensiva de los costos y luego fomentar el debate sobre los actuales valores y los posibles a considerar en el diseño del programa de evaluación docente. De un solo tiro, la decisión del comité o un simple mandato del administrador no es adecuado a las necesidades de una continua evaluación docente y para un complejo de una decisión costo- beneficio para un distrito escolar. En el capítulo 18 se recomienda una tabla de evaluación docente que incluye esta función entre otras. El capítulo 22 también se ocupa de costos específicos y opciones que los distritos deben considerar en el costo de la evaluación docente. Los distritos pueden medir la cantidad de actividad en la evaluación y destinar recursos de dinero, tiempo y personal para que llevar la actividad de la evaluación docente a niveles deseables.

¿QUÉ ES UNA BUENA EVALUACIÓN DOCENTE?No solo en la práctica de la enseñanza puede examinarse la calidad, en el desempeño de los sistemas de evaluación docente también debe observarse. Un buen sistema de evaluación docente es equitativo y justo, satisface las necesidades del cliente, contesta las preguntas de interés de la audiencia, es efectivo en cuanto a costos, y están libres de efectos secundarios injustificables. Las funciones formativas y acumulativas se deben separar del propósito, tiempo, método y del personal. Un buen sistema de evaluación docente debería ser técnicamente lo bastante sofisticado para abarcar un amplio rango de tipos de maestros y de tareas.

14

Sociológica y políticamente complejos. Un sistema defendible debería basarse en la investigación que involucre a los docentes en estudios continuos de confiabilidad y validez. Los buenos sistemas de evaluación docente se auto evalúan. Los datos empíricos deberían ser recopilados en niveles de satisfacción de los participantes, ejecución de las normas docentes, y el rendimiento del sistema en términos de las quejas. Los deberían compararse con otros competidores por resultados, efectos a largo plazo, costos y problemas. Finalmente los buenos sistemas de evaluación docente son acreditados por maestros expertos y externos.

PARA EL CASO DE INCREMENTAR LA CANTIDAD DE EVALUACIÓN DOCENTEComo Scriven (1973a) declaró, la pregunta no es sí evaluar o no, sino qué se evalúa bien o pobremente. Una evaluación docente no sistemática se da todo el tiempo: el comentario de los alumnos es acerca de qué tan bien trabaja un maestro, pocos padres se entusiasman con hechos específicos o reclaman sobre algún problema, la media se centran en la disminución del puntaje, las cualidades personales estratifican el rango de los maestros y los maestros innovadores son acosados. Estos ejemplos producen información poco útil, ciertamente menores que los mejores resultados que se obtendrían a partir de las nuevas orientaciones presentadas en este libro. El reto de mejorar la evaluación docente está en actualizar la práctica hasta el punto en que valga la pena para los maestros, administradores, padres, legisladores y estudiantes. Esto es en el caso de aumentar lo que hasta este punto no ha sido una actividad popular: la evaluación docente.

Una buena evaluación docente significa que los maestros y todos los que trabajen en las escuelas tendrán que hacer más tareas y gastar más tiempo que en el gastado en los sistemas actuales. Los costos de una buena evaluación docente son reales. El tiempo es el más valioso y el que más asusta a los educadores. Sin embargo hay muchas razones para incrementar la cantidad de actividad y hacer una evaluación docente. La carga profesional de los maestros para la evaluación se debería cumplir. Incrementar la documentación para un buen trabajo incrementa la satisfacción laboral de los maestros. El cambiante clima político de orientación al consumidor demanda el reconocimiento de los buenos maestros y de los resultados defendibles. Las prácticas instruccionales pueden ser alteradas y mejoradas, luego documentadas, juzgadas y divulgadas. La base de los conocimientos de los profesionales se debería agregar, no solo por la investigación y por la sabiduría profesional sino por los datos útiles a la evaluación. Si nosotros creemos que los maestros están haciendo un trabajo bueno y necesario tendríamos que poner dichas creencias en la línea de evaluación.

RECOMENDACIONES PARA MEJORAR LA PRÁCTICAMuchos estudiantes e investigadores de la evaluación docente han dado orientaciones para mejorar la práctica. Los siguientes ejemplos muestran claramente que hay muchas ideas positivas para cambiar la práctica actual. Scriven (1981) recomendaba sistemas de apoyo independientes para los maestros, la evaluación de los administradores así como la de los maestros, uso juicioso de los cuestionarios para los alumnos, consideración del profesionalismo y la calidad de la enseñanza en el contenido y los procesos, usar los beneficios actuales del aprendizaje, inclusión de un expediente de desarrollo profesional y finalmente el uso de las entrevistas de salida. Travers (1981) fomentaba la adecuada no-uniformidad en los métodos de evaluación docente en el distrito. McGreal (1983) recomendaba usar seis fuentes de datos además de basarse en la observación de los pilares principales: padres, pares, desempeño de los estudiantes, autoevaluación, estudiantes y artefactos de colección. Peterson (1984) señalaba la necesidad de múltiples fuentes de datos, fuentes de datos variables, investigación y desarrollo de líneas de evidencia y finalmente usar paneles de toma de decisiones. Epstein (1985) hacía un llamado al uso de múltiples jueces en la evaluación docente, especialmente los datos de la encuesta a padres además de los principales puntos de vista. Popham (1985, 1987) hacía un llamado a investigar y desarrollar las medidas de los docentes y enfatizar el papel central del juicio profesional en una buena toma de decisiones. Brauchle, McLarty, and Parker (1989) abogaban por un mayor acercamiento al portafolio para usar los datos del desempeño

15

estudiantil para medir la efectividad del docente. Good and Mulryan (1990) apuntaban a usar las clasificaciones de los estudiantes y de los padres en la evaluación docente. Bird (1990) exponía al portafolio como parte central de la evaluación docente.

La práctica de la evaluación docente que recomienda este libro es para minimizar la observación principal basada en rutinas y lista de control a favor de las fuentes de datos múltiples y variables, incrementar el control y la participación del maestro así como paneles de los cuerpos de toma de decisiones. También es fundamental atender la realidad política y sociológica de la evaluación docente; el clima profesional actual no es propicia para una buena evaluación docente ni para hacer los cambios recomendados. Esos cambios pueden instaurarse gradualmente, en un periodo de cinco años. Este enfoque recomendado tiene un costo adicional pero defendible. El resultado es la evaluación que asegure a los maestros que están haciendo un buen trabajo y además valioso, que les de seguridad y estatus al buen funcionamiento docente, difundir las ideas educativas innovadoras y asegurar a la opinión pública que los maestros contribuyen exitosamente a esta sociedad.

16