Embed Size (px)
Citation preview
Q~~ ol SOlN3WVaNn~AVJIl!H)
saJopu9Jsauaoposoqu9ponloAaA
VAISN3~dWOJNOIJVnlVA3,
Título original: Standards-basedandresponsiueevaluation
©2004, Robert E. Stake
Published by arrangement with Sage Publications, Ine.
(United States, London and New Delhi)
Colección Crítica y fundamentos
Serie Teoría y sociología de la educación
Directores de la colección Graó: Rosario Cubero, José Escaño, Miquel
Essomba, Juan Fernández Sierra, Juan Bautista Martínez Rodríguez,
Caries Monereo, Lourdes Montero, Javier Onrubia, Miguel Ángel Santos
Guerra, Jaume Trilla
Director de este título:Juan Bautista Martínez Rodríguez
© de esta edición: Editorial GRAÓ, de IRIF, S.L.
el Francesc Tárrega, 32-34. 08027 Barcelona
U!WW.grao.com
© de la traducción: Albino Santos
l.' edición: febrero 2006
ISBN 10: 84-7827-418-9
ISBN 13: 978-84-7827-418-5
D.L.: B-2.219-2006
Diseño: Maria Tortajada
Impresión: Imprimeix
Impreso en España
Quedan rigurosamente prohibidas, bajo las sanciones establecidas en las leyes, la
reproducción o almacenamiento total o parcial de la presente publicación, inclu-
yendo el diseño de la portada, así como la transmisión de la misma por cualquiera
de sus medios tanto si es eléctrico, como químico, mecánico, óptico, de grabación
o bien de fotocopia, sin la autorización escrita de los titulares del copyright.
'i'
.~
'\'0olf
lf,
..
~
~>:'
""<,~ t ~ l'Ii,'
~ \1~ \C 'Ij! .'.. '~"~I!:./ •• · 1:111
3Loevaluaciónbasadoenestándares
La verdad pocasvecesespura ynunca essimple.
(Oscar Wilde)
¡Hemos llegado! Side algo se sienten realmente orgullosos la mayoría de
evaluaclores yevaluadoras, esde sus mediciones. Se sienten realmente con-
tentos cuando realizan una buena medición del rendimiento del evaluando.
Obtienen cifras que plasman en un papel en el que se muestra lo que «la
gente de! programa» ha hecho o puede hacer. Esos números muestran si
se han cumplido los estándares o no. Obviamente, son guarismos que hay
que analizar e interpretar.
En este capítulo, nos centraremos en el uso de instrumentos de obten-
rión de datos para definir las principales preguntas de una evaluación. Se
podría hacer un análisis estadístico magnífico de una serie de preguntas su-
perficiales, pero no sería un buen estudio.
Un instrumento basado en criterios tiene aveces un aspecto parecido
al de! cuestionario sobre un programa de igualdad de géneros que recoge
el ruadro 4.Se trata de un cuestionario que algunos de nosol1l1etO><SHtrt-1tl-ii+íIi.,.:t<t:T,1tl'11tt(><)~r---------
para evaluar e!progreso realizado alolargo de tres años por elCentro para
la Demostración de la Igualdad entre Sexos del condado de Broward, en
Florida. En nuestro resumen ejecutivo, recogíamos (con respecto, por
ejemplo, alapregunta n." 15) que en los profesores ylasprofesoras que co-
nocían bien la labor del Centro se aumentaba la impresión de que las chi-
cas tienen que superar mayores presiones sociales que los chicos para
matricularse en asignaturas de ciencias ymatemáticas avanzadas. En e!pro-
fesorado de otras escuelas de ese mismo condado, se evidenciaba una
reducción de dicha impresión a lo largo de un período de dos años.
Fíjense bien en e!cuadro 4de la página siguiente. Traten de entender-
lo. Es un cuestionario para profesores yprofesoras. (Alos estudiantes ylos
administradores selesformularon también laspreguntas de algunos de esos
mixmr»; ÍI(·IIIS.) I,as pregulllas solm> dalos basados en criterios son las qlle
van del número 4al 10: lasqlle abordan lapercepción del encuestado o en-
cuestada sobre lanecesidad del programa. Los ítems 11 y12 preguntan acer-
ca de observaciones sobre la actividad de la escuela. Los ítems del 13 al 17
pn:glllltall sobre los cambios qlle el programa podría estar obrando. Los es-
tándares de éxito secumplían siseobservaban avances sustanciales en lacon-
ciencia de ladesigualdad yen elapoyo alaenseñanza en igualdad de género.
104 EVALUACIÓN(OMPR1HS/VA
Cuadro4.Percepcionessobreigualdadsexualenlasescuelas,controldecalidadescalado,primaverade1983
Instrucciones: éstas preguntas forman parte de laevaluación del Proyecto para
laDemostración de laIgualdad entre Sexos del condado de Broward. Setoma-
rán todas lasprecauciones para evitarque sehagan públicas lasrespuestas indi-
viduales.
Por favor,responda con sinceridad.
1. Susexo:
A.Mujer
B.Varón
2. Añosde experiencia docente:
A.0-2años
B. 3-5años
C.6-10años
D.11-20años
E.Másde 20años
3. Años de experiencia administrativa:
A.0-2años
B. 3-5años
C.6-10años
D. 11-20años
E.Másde 20años
4. ¿Tiene usted lasensación de que losroles sexuales estereotipados han sido
un problema en suescuela?
A.Sí,un gran problema.
B.Un poco.
e.Enabsoluto.
5. ¿Tiene usted lasensación de que elprofesorado de su centro está bien in-
formado de las prácticas de discriminación sexual y de las posibilidades
existentes para disminuirlas?
A.Sí,semantienen informados.
B.Necesitan másoportunidades para informarse.
C.Otra respuesta
6-10.Enloscentros escolares de este distrito -según su opinión- ¿cuánto obsta-
culiza cada uno de los factores siguientes laposibilidad de que losjóvenes
reciban una buena educación? (Preguntas de la6ala10)
6.Discriminación racial:A.Mucho B.Un poco C.Enabsoluto D.Noopino
7.Discriminación sexual:A.Mucho B.Unpoco e.Enabsoluto D.Noopino
8.Bilingüismo: A.Mucho B.Un poco C.Enabsoluto D.Noopino
9. Excesivo énfasis en los tests: A.Mucho B.Un poco C. En absoluto D.
No opino
10.Ineficacia docente: A.Mucho B.Un poco C.En absoluto D.Noopino
T "" '~.'~
,.l ~ ,~ . ~ ~~ ".', ~:i ..•J; .!'.
'"e-
i,L~ ..", •.. ., ..' ~
lAfVAIUAClÓHBASAOAfHfS/AHOAi!S
11. Desde supunto devista,¿quéhacen losprofesores ylosadministradores de
su escuela para promover la igualdad sexual? (Señale sellolaopción que
másseaproxime.)
A.Alamayoría no lesinteresa este tema.
B.Lamayoría están atentos alosproblemas, pero casinunca seimplican.
e.Lamayoría tratan de eliminar losestereotipos sobre roles sexuales.
D.Lamayoría creen que deberían recibir un trato diferente.
12.Desde su punto de vista, ¿qué porcentaje aproximado de estudiantes desu
centro aprecian ejemplos de roles sexuales estereotipado~ en los propios
materiales curriculares?
A.Un 5%()menos
B.Entre el5Yel ~5%
C.Entre el 25yel 50%
D.Entre el 50 Yel 75%
E,El 75%omás
13. ¿Cuálde lassiguientes afirmaciones expresa mejor susentir sobre loque el
profesorado ylaadministración de suescuela deberian hacer?
A. Deberían intentar eliminar losestereotipos sobre roles sexuales.
B. Deberían estar atentos alosproblemas derivados de losestereotipos.
e.Deberían enseúar de qué modo deben ser diferentes loschicos de las
chicas.
D. Tienen cosasmásimportantes que hacer que preocuparse por eso.
14. Encomparación con hace un año, ¿esusted más consciente ahora de ladis-
criminación sexual que seproduce en laescuela?
A.No,no estoyenterado de ninguna discriminación sexual aquí.
B.Sí,ahora soymásconsciente de ella.
C.No.yoyaera Illllyconsciente d('ella hace 1111ario.
15. ¿Tiene usted lasensación deque laschicas tienen que superar mayores pre-
siones sociales que loschicos para matricularse en asignaturas de cienciasy
matemáticas avanzadas?
A.Sí
B. o
16. En comparación con hace un año, ¿es usted más consciente ahora de que
hay personas que consideran que en las escuelas existe discriminación se-
xual yquieren hacer algopara acabar con ella?
A.No,no conozco anadie así.
B.Sí,cada vezsoymásconsciente de laexistencia de esaspersonas.
e.No,yoyaera muy consciente de laexistencia de esas personas hace un
aúo.
17. ¿Lamayoría de losestudiantesylasestudiantes de su escuela esconsciente
de la existencia de situaciones en las que se produce discriminación por
sexo?
105
~ ~
106 EVAlUACiÓNCOMPifNSIVA LAEVAlUACiÓNBASADAENES¡INDARES
A.Sí,están muyatentos aladiscriminación sexual.
B.Sí,pero esun tema que lesimporta poco.
C.No, no son conscientes de situaciones así.
experiencia personal serán importantes en muchos estudios de evaluación,
pero la manera final de decidir lacalidad del evaluando será distinta en el
enfoque basado en criterios yen el interpretativo.
No se hizo nada para enumerar de antemano cuánto avance sería con-
siderado «sustancial ...(¿No se produce aquí una anomalía considerando que
cuanto más eficaz fuese este programa, aunque sededicase un tiempo mucho
más prolongado al tratamiento de lasdesigualdades, sería de esperar que la
gente se sintiera cada vez más preocupada por lasituación en sus escuelas y.
por tanto, más insatisfecha con ellas?) Pero. volviendo alinterés por laevalua-
ción basada en estándares, quizás la pregunta más importante que usted
puede realizar eslasiguiente: «¿Lograrán centrarse estas preguntas en losob-
jetivos ylos criterios más importantes del programa? »,
Elcuestionario fue también ideado con un formato de instrumento para
ser puntuado a máquina mediante lectura óptica. Las tres primeras pregun-
tas permiten comparaciones en función del género y la experiencia de los
encuestados ylas encuestadas. Las diecisiete preguntas obligan a elecciones
categóricas, en vez de respuestas abiertas. Al no pedir a las personas encues-
tadas que redactaran sus propias respuestas seperdió información potencial-
mente útil, pero el tiempo necesario para codificar ypuntuar esas respuestas
es excesivo en el contexto de muchas evaluaciones. Yo prefiero incluir al
menos una respuesta abierta para obtener matices yexpresiones citables que
estos otros ítems no proporcionan. En el cuadro 4 del capítulo siguiente se
muestra un cuestionario de preguntas más abiertas sobre elmismo programa.
Lo más frecuente esque se utilicen varios instrumentos basados en cri-
terios en un mismo estudio. Así, otro ejemplo de instrumento basado en
criterios es el protocolo de entrevista telefónica a los veteranos mostrado
en el cuadro 3. Se trata de un protocolo (o de un borrador de esquema)
para larealización de encuestas por teléfono para un estudio de evaluación
del programa de formación en redacción de cartas descrito en el capítulo
anterior. Elevaluador o la evaluadora que telefoneaba podía ver, indicados
entre paréntesis, los siete criterios más enfatizados en laformación del per-
sonal de la Administración de Prestaciones para los Veteranos, amén de
una lista de otros criterios sobre una buena redacción de cartas. Las pre-
guntas en negrita seformularon de forma estandarizada atodos losencues-
tados. Los ítems numerados eran preguntas sonda que sólo se formulaban
siel encuestado o la encuestada no las cubría en su respuesta.
En elcapítulo 1consideramos también dos modos de pensar acerca de
la evaluación: el que se basa en criterios yel interpretativo. El que se basa
en criterios pone el énfasis en el uso objetivo de escalas ymediciones for-
males. Elinterpretativo, por el contrario, hace hincapié en lasucesiva farni-
liarización personal del evaluador con el evaluando. La medición y la
«Basadaenestándares»
Aplicaremos laetiqueta basadosenestándares aun extenso grupo de métodos
de evaluación que recurren principalmente al modo de pensar que se basa
en criterios. La evaluación basada en estándares exige un esfuerzo especial
para lijar de un modo explícito loscriterios, losestándares=y otros factores de
evaluación. Tiene la orientación basada en criterios del Instituto Nacional
de Estándares y Tecnología. Ser explícitos -declarar abiertamente losproce-
dimientos y los compromisos de valor- es muy importante en el modo de
pensar basado en criterios. La evaluación interpretativa depende también
de estándares de valor, pero, en su caso, los estándares son generalmente
más implícitos, están menos verbal izados yno aparecen tan claramente iden-
tificados en el diseño ni en el informe final. La evaluación basada en están-
dares supone un enfoque sumamente racional ymucho menos intuitivo de
la percepción yla representación de lacalidad de un programa.
El modo en el que se enuncian los estándares yotros factores de eva-
luación nunca es perfecto. Muchos de los estándares enunciados sólo pro-
porcionan aproximaciones, simplificaciones o factores correlacionados
con los criterios reales. Amenudo, los recursos no permiten un estudio ex-
haustivo' de esos criterios reales. Las necesidades ylos objetivos, por ejem-
plo, se toman directamente muchas veces de las especificaciones del
programa en cuestión en vez de ser investigadas por separado. Orientarse
a los estáudares significa no sólo seguir una lista de control para asegurar-
se de tenerlo todo especificado, sino también fijarse la meta de ser tan ex-
plícito como lo permitan las circunstancias.
La evaluación basada en estándares parece natural, sobre todo, cuando
el rol de laevaluación esel de valorar laconsecución de ciertos objetivos. El
evaluador o la evaluadora necesita una explicación de esos objetivos para
hallar luego los criterios ylos estándares más apropiados para lavaloración
del rendimiento. Pero esa misma forma de pensamiento sirve también para
valorar actividades y contextos, para ayudar al desarrollo organizativo y
22. Siempre costará un poco mantener lados los estándares en orden. Los estándares de la
evaluación basada en estándares son aquellos factores o ingredientes con los que se lleva a
cabo una evaluación. Algunos de ellos son los estándares de valor que las personas emplean
para juzgar la calidad del evaluando. Los estándares pueden ser escritos o no, pero siempre
son conscientes. Más allá de eso, el proceso de evaluación formal se valora en función de unos
estándares profesionales, como los [onü Standards (joint Committee, 1994) o los Guiding
Pnnciples de la AEA (Shadish y otros, 1995).
107
Pues bien, esa pregunta ya está dando a entender la existencia de un sesgo,
de una falsa expectativa: la que resulta de ver las cosas a través de unos ojos
anglófonos. Representar las opiniones que el alumnado tiene de laadminis-
tración de su escuela como esencialmente de complicidad es un sesgo. No
reconocer ladiscriminación racial esun ejemplo más pertinente de sesgo del
evaluador ode laevaluadora. Los buenos evaluado res tratan de examinar sus
preguntas en busca de sesgos yde utilizar procedimientos de detección para
reconocer los efectos del sesgo que no fueron detectados anteriormente.
En la comunicación que presentó en el simposio celebrado COII moti-
vo de mijubilación, Michael Scriven dijo: «el sesgo, la falta de objetividad,
es, por definición, una predisposición al error. [...) Sería difícil imaginar
un motivo más significativo, una razón mejor, para desear mejorar nuestras
cualificaciones [como evaluadores) en aquellas dimensiones relaciona-
das con laobjetividad» (Scriven, 1998, p. 15). Pero la negación sin más de
la subjetividad supone dar un paso hacia una simplificación excesiva. El
sesgo es una cuestión compleja ycrucia!' En los capítulos 6y9 examinarc-
mos los conceptos de se.\goy objetividad.
El evaluador o la evaluadora profesional intenta reconocer y limitar
sus propios sesgos, luego controla el trabajo que realiza a procedimientos
de validación yrevisión, yrecurre asus colegas yasus lecton~s_pa¡:<LqueJe",==~~=
indiquen qué parte de su trabajo continúa estando sesgada. Una-de-Ia~~es-·-----
trategias iniciales para tratar lacuestión del sesgo es lade lae-XcpliE'dción-d>,-~=----
lo que es lo mismo, la de hacer que todo sea lo más explícito posihlc-:-Eso
supone plasmarlo sobre el papel o en la pantalla para que pueda difundir-
se, examinarse y exprimirse a fondo. Significa tener mucho cuidado a la
hora de definir términos yoperaciones. Significa probar antes lafórmula de
recogida de datos escogida y abrir el uso de instrumentos yprotocolos a
un examen crítico. Significa ser objetivo, limitando al máximo la influen-
cia de las preferencias personales. También significa asignar una gran
parte del presupuesto para la planificación, la estandarización, la elabora-
ción de preguntas, los formatos de presentación de los datos ylos ensayos
de prueba. y,en el terreno estratégico, significa la formalización del pro-
ceso de comparación del rendimiento medido con estándares explícitos.
108 EvALUA(IÚH(OMmNSIVA LAEVAlUAUÚNBASADAENESIANDAiES
para estudiar la política general yfacilitar la acción socia!' El enfoque ba-
sado en estándares puede ser útil para los diversos roles de la evaluación.
Anne McKee, del Kings College de Londres, evaluó el apoyo aldesarrollo del
personal existente aescala regional apartir de una muestra de pequeñas clíni-
casmédicas delnoroeste de Inglaterra. Determinó unos criterios deapoyo apar-
tirdelosque había obtenido dedosautoridades regionales distintas. Una deellas
ponía el énfasis en lanecesidad de alinearse con lasregulaciones del gobierno
central. Laotra animaba alpersonal avalorar suspropias necesidades yaplanifi-
carlaformación enfunción deello.Posteriormente, McKeeanalizó laformación
que sehabía producido realmente ydescubrió que laconformidad comunicativa
yorganizativa seestudiaba másfrecuentemente en aquellas clínicas alasque se
instaba aalinearse con lasregulaciones centrales. Lasclínicas másdadas alaau-
toevaluación programaban más frecuentemente formación en temas médicos y
sanitarios. Ése,en concreto, era elresultado de rendimiento alque McKeeesta-
baprestando atención. Ellaempleó criterios explícitos defacilitación delaacción
eidentificó losobjetivos de laformación. Apesar de laelevada racionalidad de
suenfoque, dejó implícitas algunas necesidades delpersonal, algunos estándares
yalgunos factores de ponderación, pero proporcionó datos con losque evaluar
losdosmétodos de apoyo aldesarrollo del personal. (McKeeyWatts,2000)
Se dice que el pensamiento racional contrasta con el pensamiento in-
tuitivo. La racionalidad en el trabajo evaluador resulta atractiva para mu-
chos clientes en el mundo académico, empresarial o de la administración
pública. La mayoría de evaluadores yevaluado ras se enorgullecen de su ra-
cionalidad yde su capacidad para exponer claramen te los pasos que siguen
en sus evaluaciones. No se trata sólo de una cuestión de valor de mercado
yde orgullo: también se trata de controlar lasubjetividad yel sesgo de este
complejo mundo de la determinación de las virtudes ylos defectos.
Sesgos
Hacerse evaluador o evaIuadora profesional (o hacerse un profesional de
cualquier clase con conocimientos en evaluación) significa, en parte, apren-
der a lidiar con los sesgos. Los evaluadores expertos tienen inclinaciones,
como todo el mundo, pero la mayoría se esfuerzan por reconocerlas ylimi-
tarIas. Se disciplinan así mismos, ponen trampas para atrapar sus limitacio-
nes ylos mejores indican incluso asus clientes ylectores que, dado que no
sepueden eliminar todos lossesgos, también ellos deberán estar atentos por
si surgen. El sesgo es endémico. Habrá quien se pregunte: «¿A qué edad
aprende un niño escocés a decir "aye" en lugar de "yes" (para decir "sí") ?».
Facfores23
Amenudo, esútil pensar que laevaluación basada en estándares esun tipo de
evaluación que procede por fases. La fase de lapropuesta, la preparación yla
23. Los llamo factores porque son más que partes o componentes: son fuerzas o determinan-
tes. El término [actor refleja una parte de su propio carácter dinámico. No deben confundir-
se con los factores del análisis factorial, derivados de la intercorrclación de variables.
-~r .~ '. '1:~,&. ~f 'ti'
~~,':
~; .~ b
109
110 fVAlUACIÚNCOMPRENSIVA
elaboración del informe son ejemplos de esasfases.Aveces, calificamos ese pro-
ceso de lineal, aun cuando escíclico yautocorrector, Estasfases ayudan aope-
racionalizar (a hacer operativos) los factores de la evaluación basada en
criterios. Los[actores de laevaluación basada en estándares son:
l. Las necesidades de los receptores.
2. Los objetivos del programa.
3. Los criterios de evaluación.
4. Los estándares de evaluación.
5. Los pesos o ponderaciones de síntesis.
6. Los rendimientos o actuaciones del personal y de los participan-
tes/ receptores.
7. Los costes del programa.
Todos esLOS factores aparecen definidos en el cuadro 5.
Cuadro5.Definicióndelosfactoresdelaevaluaciónbasadaenestóndores
(. Necesidades de losreceptores. Lamayoría de losprogramas quc evaluamos
proporcionan un servicio aunas personas, que pueden serpacientes, usua-
riosde un parque, personas que reciben formación oestudiantes. Estasper-
sOllasSOIlSllSlxncficiarias potenciales oreales, Otras personas sebenefician
de 1I1<IIIlTaIIICIIOSdirecta yaéstaslasllamamos agclltcs implicados. Losser-
viciossediseñan con elfindesatisfacer algunas de lasnecesidades de losre-
ccptores potenciales. Losdiseriadores delprograma deciden cuáles sonesas
necesidades. Procuran abordar sólo unas pocas de lasmuchas que puedan
tener esosreceptores ypuede que hastanosecentren enlasmásimportantes.
Elcvaluarlor olacvaluadora evalúa también ladecisión que sehayatomado
COIIrespecto alasnecesidades que seha optado por abordar ylasque no.
Esavaloración de lasnecesidades puede ser formal oinformal.
Objetivos del programa. Losobjetivos son objetos ometas que elprograma
trata de alcanzar o que otros quieren que alcance. Cuando sehabla de los
objetivos de un programa, generalmente se hace referencia a losque han
sido declarados explícitamente (utilizando, normalmente, un lenguaje for-
llIal).En el ámbito total de losobjetivos (declarados ono, conscientes oin-
ronscicutcs) 110se incluyen únicamente los de los pairocinadores del
programa ylosdel personal del mismo, sino también losde losparticipan-
res yotros agentes implicados, hasta alcanzar, incluso, amecenas, contribu-
yl"lIleS,cOIllpuidon:s yoponcntcs, Aunque estélig-adopor UIIcontrato 0111I
l"lIcarg-oestrictos, el cvaluador necesita decidir cuánta atención hay qlle
prestar ¡l cada lIJlOde losobjetivos.
Criterios de evaluación. Uncriterio (definido yaen elcapítulo anterior) es
1111atributo de IInobjeto o de una actividad determinados que se utiliza
i~ ii
"
11., I
LA¡VALUACIÚNBASADAENEsrÁNDms 11
para reconocer susméritos ysusdeficiencias. Puede tratarse de un rasgo o
ingrediente que seconsidere esencial. Seconvierte en basepara unavalora-
ción ouna acción cuando sefijaun estándar.Algunos evaluadores yevalua-
doras tratan el modo de pensar que se basa en criterios como el único
proceso de evaluación defendible, puesto que obliga alaexpresión formal
de losobjetivos ydel rendimiento en términos de descriptores genéricos,
como pueden serelavance medido en términos de rendimiento, producti-
vidad oreducción de costes.
Estándares de evaluación. Un estándar (definido yaen elcapítulo anterior)
esuna cantidad, unnivelo una manifestación deuncriterio determinado que
indica ladiferencia entre dos nivelesde mérito distintos. Esuna puntuación
de corte, como laque marca ladiferencia entre un aprobado yun suspenso,
pero que también puede ser aplicable a otros méritos. Se pueden utilizar
como estándares un nivelde rendimiento concreto o un conjunto de ejem-
plosde dicho rendimiento, pero, generalmente, elestándar forma parte de
un modo de pensar basado en criterios, másque de una serie de categoriza-
ciones apartir deejemplos. Losestándares sonimplícitos en loscasosque se
utilizanpara ejemplificar actuaciones orendimientos recomendables, yasean
de evaluadores, deabogados odeprogramas de gestión deresiduos.
Pesos o ponderaciones de síntesis. Lasíntesis esel proceso por elque se
reúne toda lainformación conelfindededucir una valoración resumida de
lacalidad. Laimportancia relativade cada prueba alahora de decidir laca-
lidad eselpeso que seleda. Elpeso puede ser estadístico oimpresionista.
Noespráctica habitual indicar en losinformes losvaloresprecisos asignados
acada peso.
Rendimientos oactuaciones delpersonal yde losparticipantes. Porelren-
dimiento olaactuación del evaluando seentiende, generalmente, elrendi-
miento olaactuación del personal del programa yde losparticipantes en
el mismo. En el rendimiento seincluyen tanto losprocesos como lospro-
ductos del programa. El rendimiento puede medirse por medio de algún
tipo de testque indique cambios en eldominio oconocimiento deun tema
opor medio dealguna especie de inventario que indique lacantidad que se
halogrado. Enelcasode laevaluación basada en estándares, elevaluador o
laevaluadora compara eserendimiento con losestándares para determinar
losméritos del programa.
Costes delprograma. Loscostesdelprograma sonlosfondos empleados para
financiar el personal, el equipamiento yel funcionamiento del programa,
pero también son loscostesen especie en forma de instalaciones, asistencia,
hospitalidad ycontrol de riesgos.Loscostesdeoportunidad, aquello aloque
seha renunciado dedicando losrecursos aesteotro programa, son también
costesdelmismo. Lamedición de loscostessimplesresulta sumamente com-
plicada, mientras que de losdemás costessólopueden hacerse estimaciones.
12 EVALUACiÓNCOMPRENSIVA
El evaluador o la evaluadora trata de reconocer, explicitar y medir
estos factores para el caso concreto del evaluando en cuestión yen la si-
tuación dada. Todos los factores son considerados en cada fase de un
estudio de evaluación. Aveces, llamamos a esas fases planificación, reco-
gida de datos, análisis e interpretación. El cuadro 6 ilustra una secuencia
típica de las mismas que fue utilizada como marco para el Proyecto Cali-
dad de Vida (Quality of Life Project): el marco fue diseñado por el per-
sonal del proyecto, pero resultó útil también como estructura conceptual
para la recogida de datos para la evaluación".
El hecho de pensar en fases refuerza la idea de que la mayoría de eva-
luadores esperan que los factores se mantengan fundamentalmente inalte-
rados durante el estudio. Así, en aras de la integridad de la evaluación, no
deberían cambiar, por ejemplo, las percepciones de las necesidades de los
receptores. Los objetivos deberían continuar siendo más o menos los mis-
mos. Las mediciones, muy especialmente, deberían seguir fijas porque la
valoración del rendimiento suele depender de una selección yde una re-
presentación cuidadosas de los criterios, que implican un desarrollo muy
costoso de instrumentos yprotocolos. El evaluador o la evaluadora que se
basa en estándares se acoge así ala práctica del científico o la científica so-
cial que dice: «si aparecen nuevas ideas durante el estudio, empieza uno
nuevo paralelo al que ya estás haciendo; no trates de cambiar la pregunta
central de la investigación ni los criterios ni la recogida de datos en pleno
trabajo".
Esimportante que en la planificación de laevaluación se tenga ya pre-
visto el trabajo que se necesitará llevar a cabo dentro de cada fase. Cada
uno de los factores precisa de unas habilidades especiales del evaluador,
como quedará demostrado cuando expliquemos cada uno de ellos más
adelante.
El evaluador o la evaluadora individual tiene que prepararse para
identificar yhacer explícitos los factores. El organizador de un equipo de
evaluación necesita asegurarse de que los miembros de éste reúnan como
colectivo esas habilidades. Para poder realizar la crítica de un estudio de
evaluación es necesario tener una idea de cómo los evaluadores entienden
el significado de los factores.
¿Cuáles son los criterios de unos buenos estudios de evaluación?
Los buenos estudios de evaluación deben seguir unos estándares acep-
tados de práctica (Joint Committee, 1994), deben describir bien el pro-
grama y deben obtener una imagen correcta de su valor. Pero también
están los criterios de uso.
24.Meencantaría haber atribuido elcuadro 6asusautores, pero no logré averiguar quiénes
eran. Pido disculpas por ello.
-r .",.. lf 1 , -- ~'"
.'':';; }' ~ '"
LAEVALUACiÓNBASADAENIS¡ÁNOAiIS
'"<lJ
~•...<lJc:<lJbD
'".2c-,
9<lJ•...V
sV
..§
113
i' it l' ,.,
i , j t
~
'¡
LA EVAlUACiÓN BASADA EN ES1ÁHDARES
ello crearon cinco niveles de criterios de apli-
a las intenciones del estado por parte del
una elevada estima por dichos estándares esta-
utilizar a la hora de seleccionar materiales y de
valoración o evaluación). En el tercer año encues-
de 71 escuelas para determinar hasta qué
práctica dichos estándares. También se encuestó a
Losdiversos ítems fueron luego clasificados
apoyo comunitario yde losactores sociales
desarrollo profesional, y aprendizaje y
apreciaron principalmente cambios en el
alinear el currículo con los estándares, ob-
aumento alas tutorías en horario no lecti-
en laaplicación escolar alo largo de los
116 EVAlUACiÓNCOMPRENSIVA LAIVAIUICIÚNBIIAOAINIIIÁNDWI
rucho, de gran vozarrón yguapo llamado Rogge, a quien le gustaba es-
cuchar las anécdotas del sargento de instrucción. ¿Cuánto de aquel vo-
zarrón realmente necesitaba para aquel puesto? 0, lo que es lo mismo,
¿cuál era el estándar vocal para losjefes de escuadrón? Yo lo desconoz-
co. Podría ser que el sargento de instrucción simplemente seleccionara
a quien tuviera la voz más fuerte de todos nosotros, pero, probablemen-
te, había otros criterios que se anteponían a este otro. Los criterios se
ponderaban de un modo u otro (probablemente, de modo intuitivo) y de
todo ello resultaba una selección. Aquélla era, de todos modos, una deci-
sión fácil de cambiar.
Los criterios nos indican a qué características hemos de prestar aten-
ción. Empleamos criterios para facilitar que las selecciones que hagamos
sean buenas. Puede que cuando vamos a la tienda a comprar un abrigo
no seamos conscientes de que tenemos criterios yesperemos simplemente
elegir el adecuado cuando lo veamos. Pero aceleramos la selección y,pro-
bablemente, evitamos alguna que sea mala siconcebimos algunos criterios
por adelantado. ¿De qué tiempo nos tiene que proteger el abrigo? ¿Severá
bien con mi gorra favorita? ¿Tiene bolsillo para los cigarrillos? Algunos cri-
terios no se materializan hasta que se vulnera algún están dar oculto: «Oh,
el de color negro picaba demasiado»".
Los evaluadores que se basan en estándares tratan de clarificar el
cuadro de criterios con antelación. Piden ayuda a los miembros del per-
sonal yaotros agentes implicados (a veces, por ejemplo, a los participan-
tes y a los receptores) para identificar criterios. No quieren verse
sorprendidos por la repentina aparición de nuevos criterios o por la de-
saparición de otros con los que contaban para realizar sus valoraciones.
A veces, los evaluado res están en disposición de saber mejor que nadie
cuáles son los criterios relevantes, pero a menudo son otras personas
cercanas, dotadas de particular agudeza ylegitimidad, las que mejor pue-
den clarificar los estándares a utilizar.
Los criterios múltiples suelen merecer especial atención, incluso si la
correlación entre ellos es elevada. En una actuación o recital hay que pres-
tar atención no sólo a la calidad de la música, sino también a la produc-
ción, al encaje de la selección musical con el estilo de interpretación ya la
actitud del público. y la propia calidad de la música tiene, a su vez, diver-
sas dimensiones. Los críticos musicales emplean una serie de estándares
con los que, amenudo, clasifican lasactuaciones en categorías como «ales-
tilo de Aaron Copland» o «del primer Bob Dylan». Estas categorías actúan
como criterios ycomo estándares al mismo tiempo. Al reconocer lasactua-
ciones como pertenecientes a un género determinado, el CrItICOestá
haciendo también referencia asus virtudes o deméritos, enriqueciéndolos
con comentarios sobre los puntos en los que no han dado el nivelo sobre
aquéllos en los que lo han dado sobradamente. Todo intento de resumir la
calidad del rendimiento de un evaluando en un único criterio está pr.ir.-
ticamente condenado a simplificar la evaluación en exceso. No basta con
explicitar un criterio al máximo: hay que hacerlo con todos los criterios
importantes.
Cada grupo de actores sociales implicados pensará en criterios dife-
rentes. Tomemos el caso, por ejemplo, de un restaurante indio: el Basma-
ti. Tanto a los clientes locales como a los que no son indios les gustan el
curry yotras especias yvaloran con nota el restaurante. Sin embargo, los
indios tienden a evitar el local porque encuentran la comida que allí se
sirve demasiado distinta de la de su país de origen.
En el caso de la formación y del funcionamiento de las escuelas
(sobre todo, durante un período de reforma escolar) muchos son los es-
fuerzos que se toman para hacer explícitos unos determinados están da-
res de aprendizaje. ¿Qué debería saber un estudiante? ¿Cuál debería ser
su rendimiento para ser bueno? Son preguntas difíciles, pero numerosos
estados estadounidenses han movilizado al profesorado ya otros actores
sociales implicados para identificar estándares para cada asignat.ura o ma-
teria dentro de su curso o nivel correspondiente. En el cuadro 7 (véase
en la página siguiente) se recoge una muestra de unos estándares de ese ti-
po que se aplican en las escuelas públicas del estado de Nueva York. El
cvaluador o la cvaluadora de un programa que emplee esos cstándarcs
debería estudiar los de forma exhaustiva ycrítica. Cada profesor o profe-
sora hará cosas completamente distintas para satisfacer dichos estándares
yes muy posible que, incluso aunque el alumnado de cada uno de ellos
obtenga puntuaciones medias muy similares, su aprendizaje real difiera
sensiblemente. Esa clase de estándares no homogeneizan necesariamen-
te la instrucción ni igualan las oportunidades educativas.
En el capítulo anterior se reconocía que rara vez pueden identificar-
se los estándares cuantitativos por adelantado para que se pueda realizar
una simple comparación del rendimiento observado con los mismos. Así,
si se usan expertos o agentes implicados como jueces, los rendimientos
suelen compararse -ex post- con unos estándares implícitos. Si no, los
rendimientos observados se comparan con los rendimientos de un grupo
de referencia determinado como indicación de su valía. Ninguno de
estos métodos satisface todos los puntos que la comunidad de evaluado-
res yevaluadoras consideraría una buena indicación de la calidad, pero
si podemos llevar a cabo algunos de ellos, nuestros clientes, los agentes
implicados y muchos sectores de la población ya estarán satisfechos con
nuestro trabajo.25. Llamamos «error de especificación- al usode criterios equivocados para responder auna
pregunta determinada. ¿Es lo mismo que un «error de estímulo»?
. ~.
117
i I J I i I t
20 EVAlUA(IÚN(OMPRENSIVAlAEVAlUAClÚNBAlADAENIIIÁ¡IDARES
Shanelle gana 3,50dólares alahora
por hacer de canguro. Cada semanahace de canguro durante 4horas.
Lafamilia de Bobbie compró una
pizza.Sumadre ysuhermana comie-ron, en total, 1/2 de lapizza.Bobbie
secomió 1/2 de loque quedaba. Utili-zaelcírculo para dibujar una figura
que muestre cuánto trozo de pizzasecomió Bobbie.
1.0 ••; •
4.Losalumnos ylasalumnas utilizan
modelos matemáticos/representacio-nes múltiples para facilitarse un modo
de presentar, interpretar, comunicar yconectar lainformación ylasrelacio-
'9;. nes matemáticas.
A.¿Cuánto dinero gana alasemana?Respuesta __
B.¿Cuánto dinero gana en 4semanas?Respuesta __
oLosalumnos ylasalumnas:
• Usan materiales concretos parahacer modelos de relaciones espa-ciales.
Construyen tablasygráficas para ex-poner yanalizar datos del mundoreal.. "'. ."
• Usan representaciones múltiples (si-mulaciones, materiales manipulatí=-
vos,imágenes-y diagramas) como
.herramientas con lasque explicar elfuncionamiento de procedimientoscotidianos.
• Usan variables como laestatura, elpeso yeltamaño de lamano parapredecir loscambios que seprodu-cirán con elpaso del tiempo.
Usan materiales fisicos,imágenes ydiagrarnas para explicar ideas ypro-cesosmatemáticos, ypara demos-trar conceptos geométricos.
¿Qué fracción del total de lapizzasecomió Bobbie?Respuesta __
Notas:losideasclaveestánnumeradas(l),
losindicodoresderendimientoestónidentificodosronromoosnegros(.).
lostoreasdemuestraestónidenHficodasconllióngulouegmsJ.o.)..=::-o--"'=~=
121
I
~Estudiodelosnecesidades
Estosehace evidente, por ejemplo,cuando losestudiantes: <,
Construyen un cubo con bloques dedimensiones 3x3x3. "
• Usan fichas cuadradas para modelar
diversos rectángulos de un área de24unidades cuadradas. ': ./
"'_Leen un.diagrama de barras sobretendencias demográficas yredactanuna explicación de lainformaciónen élcontenida. "<:: .;
Los evaluadores y las evaluado ras de programas suelen tener como eva-
luandos programas en funcionamiento. Son prograllla~ que hurr-n algo
para unos receptores determinados: los forman, les dan de comer, los
curan o les salvan la vida, por ejemplo. Los patrocinadores yel personal
que crean y hacen funcionar el programa establecen unas finalidades
para el mismo: aquello que quieren que consiga. Responden, así, alo que
consideran que son las necesidades de sus receptores. Cuando declaran
los objetivos del pwgrama en cuestión, dan a entender que ya han estu-
diado las necesidades de los receptores potenciales y que tienen intcu-
ción de aliviarlas.
Puede que para el evaluador o la evaluadora sea importante hacer un
estudio o valoración independiente de las necesidades, ya sea porque no
hay coincidencia plena sobre las mismas, o porque han sido evaluadas de
forma inadecuada, o, simplemente, porque el evaluador cree que es nece-
sario hacerlo, Este estudio puede ser formal o informal, aunque lamayoría
de personas esperan que los estudios formales sean más precisos, útiles y
creíbles. El evaluador o la evaluadora puede encuestar a las personas que
tienen las necesidades (por ejemplo, a los usuarios de una biblioteca) o a
r, ',t Jí' ,.. ~ ~ ii ;iIi;\,<'II\i :; l. :tt ~ .• .'.
122 LAEVAlUIOÚNBASADAENESTÁNOlifSEVAlUMIÚN(OMPRENSIVA
quienes cuidan a los que tienen esas necesidades (por ejemplo, a las ma-
dres). Encuestar a personas con percepciones diferentes sobre cuáles son
las necesidades puede incrementar la validez del estudio.
Una necesidad es la ausencia de algo imprescindible para un funcio-
namiento satisfactorio". Las personas tienen innumerables necesidades: de
comida yde aire, de hígados yde amantes, de privacidad yde oportunida-
des educativas. Las personas también quieren esas cosas, pero, por otra
parte, también quieren cosas que no necesitan (emociones, por ejemplo)
y no quieren cosas que sí necesitan (como, por ejemplo, la compasión).
Para un evaluador es importante conocer lo que las personas quieren ade-
más de lo que necesitan y,en ocasiones, por qué. Cuando sevaloran las ne-
cesidades, es difícil ccúirse a estas únicamente sin incluir numerosas cosas
que sólo se quieren, pero también es difícil definir lo que significa el «fun-
cionamiento satisfactorio» mencionado en la definición.
Para lalabor cvaluadora, las necesidades que se han de especificar son
aquéllas más directamente relacionadas con el funcionamiento del eva-
luando. Sievaluamos un programa de lectura, no prestaremos mucha aten-
ción a las necesidades relacionadas con la salud (al menos, no hasta que
demos con un motivo para creer que son ésas, precisamente, lasnecesidades
que están interfiriendo en la lectura). Admitiremos que todas las perso-
nas necesitan leer, aun cuando reconozcamos que no todas pueden espe-
rar conseguirlo (¿yquiénes serían las que no podrían?). Querremos tener
mucho cuidado a la hora de determinar un nivel a partir del cual todas las
personas deberían leer, aunque sintamos presiones políticas para declarar
niveles mínimos íntimos. Las personas somos seres con recursos ypodemos
compensar muchas debilidades con otros puntos fuertes, así que cuesta
encontrar necesidades que sean incondicionales. Esto no significa que haya
que disminuir el grado de obligación que tienen las escuelas públicas de
ofrecer buenos programas de lectura, pero síque conviene señalar que mu-
chas de las necesidades que sedeclaran públicamente son más el resultado
de laretórica política que de un estudio cuidadoso de qué factores resulta-
rían debilitadores si no se consiguieran. Los evaluadores ylas evaluadoras
harán bien en muchas ocasiones de describir las condiciones de mal fun-
cionamiento existentes en lugar de proceder auna especificación rigurosa
de lo que se necesita. Ésta no es más que una de las múltiples posibilidades
por las que puede optar el evaluador, Una especificación completa de
todos los factores yde sus implicaciones sería más de lo que se podría con-
seguir. Algunas cuestiones se quedarán sin examinar ysin mencionar.
Objetivos
Obviamente, los objetivos de un programa son (independientemente de lo
que se pretenda de él, formal o informalmente) los resultados alos que se
dirige, pero no sólo resultados. Las condiciones preparatorias adecuadas y
el funcionamiento que se persigue son también objetivos. Muchas veces,
habrá una declaración de objetivos oficiales confeccionada por los patroci-
nadores o el personal del programa. Estas declaraciones suelen centrarse
en los beneficios pretendidos, concretamente, en la paliación de déficits y
necesidades. Habrá quien sostenga que el mérito de un programa tiene
que verse en sus resultados, pero, por lo general, se dedican también gran-
des esfuerzos simplemente a la creación yel sostenimiento de un progra-
ma. También los objetivos intermedios o de «construcción de capacidad»
tienen que ser incluidos en cualquier percepción de los objetivos que se
haga el evaluador o la evaluadora. Yentre los objetivos de una persona
joven, de una iglesia o de un ejército permanente puede haber algunos que
sean amuy largo plazo yque estén ocultos asimple vista. Incluso cuando se
adopta el enfoque de la evaluación basada en objetivos, rara vez la mejor
manera de servir lafinalidad de laevaluación es limitarla alos objetivos de-
clarados. Hay que tener en cuenta toda una serie de fines del personal yde los
agentes implicados, incluso aunque los clientes que encargan la evaluación
pidan que sólo seestudie la consecución o no de sus propios objetivos.
La evaluación basada en objetivos suele utilizar los objetivos expuestos
por lospatrocinadores opor elpropio personal como principales organizado-
res conceptuales del estudio. Véanse, por ejemplo, losobjetivos del Programa
de Desarrollo Nacional del Reino Unido (CET) recogidos en Computer As-
sisted Learning (<<Aprendizaje asistido por ordenador») (Hooper, 1975), un
proyecto de investigación ydesarrollo en el ámbito de laeducación superior.
Intenciones del programa CET:
Desarrollar ygarantizar laasimilación del aprendizaje asistido ygestionado
por ordenador sobre una base institucional regular aun coste razonable.
Formular recomendaciones alosorganismos apropiados de lossectores pú-
blico yprivado (DES,UGC,Computer Board, LEA,elMinisterio de Defen-
sa,losfabricantes de ordenadores) apropósito delosposibles nivelesytipos
futuros de inversiones en aprendizaje asistido y gestionado por ordenador
en losámbitos de laeducación y laformación.
El informe de evaluación de Barry MacDonald sobre el CET, «The
Programme at Two»,fue publicado en 1975 por el británico Centro de In-
vestigación Aplicada en Educación. Fijémonos de nuevo en los estándares
del estado de Nueva York sobre rendimiento del alumnado que se reco-
~(i. En el FlIflh/llliol/ 'I1w."'UnlS de Michacl Scriven (1991, p. 240) se plantean de forma muy
adecuada una serie de problemas que pueden surgir en relación con el estudio de necesida-
des.
12
24 EVAlUACIÚNCOMPRENSIVA
gían en el cuadro 7.Aquellos estándares parecen objetivos. Aveces, los ob-
jetivos de un programa parecen idénticos a sus estándares. Los objetivos
son, supuestamente, blancos a los que apuntar. Según el diccionario, los
estándares derendimientodeberían ser puntuaciones de corte que permitan juz-
gar el rendimiento. Los objetivos deberían estar por encima de esas pun-
tuaciones de corte, pero los términos se utilizan de forma indistinta.
Aunque en el pasado más que ahora, algunas autoridades continúan
exigiendo que los objetivos de los programas se enuncien en forma de ob-
jetivos conductuales en los que se indique lo bien que los receptores de
una determinada instrucción, por ejemplo, deberían ser capaces de ren-
dir una vez finalizado el programa. En el cuadro 8, se muestran algunos
objetivos conductuales extraídos de lo que, en tiempos, fue el Instructional
Information Exchange (un programa de Intercambio de Información Edu-
cativa), dirigido por James Popham. La diferencia entre los objetivos que
son conductuales ylos que no bien merece que se le dedique una hora o
dos de atención, si es que nunca antes se ha reflexionado sobre ella. Las
implicaciones en el caso de la enseñanza son evidentes. Es un error supo-
ner que ladocencia siempre mejorará siel instructor o lainstructora apun-
ta más insistentemente a objetivos de índole conductual.
Los organizadores conceptuales son temas, cuestiones importantes
o enunciados de calidad necesarios que un evaluador o una evaluadora
usa para conformar su propia concepción de la organización de la reco-
gida de datos ydel diseño de un plan de informes".
Cuadro8.Ejemplodeobjetivosconductuoles
CATEGORÍA PRINCIPAL
NUESTRA HERENCIA COLONIAL
Objetivo 5:Tipos de colonias
Ante una descripción de una situación que retrate algún aspecto de lavidacolo-
nial ode un acontecimiento político real en una colonia, elalumno olaalum-
na indicará eltipo de colonia alque corresponde dicha situación: una colonia
de propietarios, una colonia real ouna colonia estatutaria.
27. Los científicos sociales emplean a menudo preguntas de investigación o hipótesis nulas
como organizadores conceptuales. Loque buscan son generalizaciones con lasque construir
teorías (por ejemplo, ¿escierto que el profesorado toma como referencia central. para mar-
car el ritmo al que avanzan con el material docente, a los alumnos yalumnas más destacados
del 25% del alumnado más rezagado de la clase?) y no la valoración de los méritos o del
valor de un evaluando (por ejemplo, ¿ha adaptado este profesor su ritmo de docencia al
de aprendizaje de sualumnado?).
- ..¡
_ l. Hoyes un día importante en esta colonia. Ha pasado un ano desde qlle
secelebraron lasúltimas elecciones, asíque hoyes eldía en que todos loshom-
bres libres de lacolonia eligen asugobernador. Aunque, en teoría, suelección
degobernador hadeseraprobada ror elreyde Inglaterra, hace yamuchos anos
que elmonarca no semolesta en roner objeciones aningún nuevo gobernador.
Asíque, poco preocupados por loque elreypueda pensar, loshombres libresse
reúnen en elconsistorio municipal para celebrar laelección.
_ 2. Hoy seviveuna gran agitación en esta colonia. Acaba de saberse que
el rey ha nombrado alos nuevos miembros de lacámara alta del legislativo
yha elegido también a un nuevo gobefllaclor. Los colonos saben por expe-
riencia que losrersonajes nombrados por el monarca xuclrn mostrarse IIIUy
poco preocupados por los problemas clGlacolorria~EI~guheTnadorrlTnne+{-. -1--------
ser-más que un tirano que acepta elcargo para.prornocionarsc en su propia.
carrera.
_:l. ElSr.X recibió una vastaextensión de territorio de manos del rey ,1e.un-
hio de un servicio destacado alacorona. ElSr.X,descoso d("qll("se insralrn
colonos ensustierras, empieza aofrecer parcelas de terreno aprecios tan bajos
que pronto tiene miles de habitantes en ellas.Sabedor de lanecesidad de orga-
nizar un gobierno de algún modo, nombra aun gobernador, instaura un siste-
ma de tribunales y anuncia elecciones abiertas para ocupar los cargos del
gobierno local.
_ 4. El gobierno de esta colonia, siguiendo órdenes directas de la corona,
acaba dedecretar eltoque de queda apartir de lassiete en punto para sushabi-
tantes. Loscolonos están muyindignados, pero susvocesno pueden hacer nada
frente algobernador. Deciden redactar una petición alreyimplorándole que le
dé orden de levantar eltoque de queda.
_ 5.Elconsejo ylaasamblea de esta colonia acaban de serelegidos en lasúl-
timas elecciones anuales, celebradas hace un mes. Lasemana pasada aproba-
ron una medida que, con toda probabilidad, desagradará alreyen cuanto sepa
de ella. Alosvecinos del lugar, sin embargo, no les rreocupa lareacción del
reyporque éste carece de poder para vetar lasdecisiones del gobierno de esta
colonia.
LAIVAIUACIÚNBASADAINIlliNDARIS
Ejemplos de muestra
Instrucciones: lee lasdescripciones breves de algún aspecto de lavida colonial
que seofrecen a continuación. Luego, en elespacio en blanco que precede ala
descripción, escribe laletra del tipo de colonia alque corresponde lasiiua-
ción descrita.
Lostres tipos de colonia son:
A. Colonia de propietarios.
B. Colonia real.
C. Colonia estatutaria.
125
I J t
~ ~
,
1
128 EVALUACIÓNCOMPRENSIVAlA EVALUACiÓN8ASAOAENEs¡iNOAm 129
luador o la evaluadora que se basa en estándares intenta hacer explícitos los
costes de un programa (no sólo losmonetarios, sino también losque son «en
especie», los psicológicos ylos de oportunidad). Aveces, los recursos que se
aprecian en un programa son sólo losde costumbre, aquellos que losagentes
implicados ya conocen de sobra. Pero, por lo general, el cálculo de los cos-
tes de un programa nuevo o alternativo es no sólo importante sino también
dificil yrequiere muchas veces de más presupuesto ytalento del que elevalua-
dor o laevaluadora puede aportar por sísolo o por sísola. Incluso en losme-
jores estudios basados en estándares, puede que sólo se haga alusión a los
costes yque en ellos sólo seincluyan losgastos. En sentido estricto, elcoste no
implica una determinación de la calidad, pero sí que forma parte de lades-
cripción completa que se necesita para entender lacalidad de un programa.
objetivo, pero también hay que tener en cuenta que es muy dificil dividir
al máximo un presupuesto limitado entre todos los posibles grupos defen-
sores de posturas diferenciadas.
Cuadro9.latransformacióndelasespecificaciones
Según la propuesta
delpatrocinador del
proyecto.
Según fue produci-
do por los progra-
madores.
Según -se especifica
en la solicitud del
proyecto.
Según fue instalado
en el local de los
usuarios.
Según fue diseñado
por el analista sé-
nior.
Lo que quería el
usuario.
¿Cómo puede elprecio de lossujetapapeles ode otras cosas por elestilo serun
aspecto de lacalidad? No loeshasta que elusuario considera que elevaluando
ha cambiado de calidad una vezque también loha hecho elsujetapapeles, por
ejemplo. Esto no significa que la satisfacción del cliente y la calidad sean lo
mismo. Elcliente puede percibir una calidad elevada pero considerar sucompra
mala. Sisedescubre que elsupuesto programa de éxito acaba quemando asu
personal. puede que cambie laimpresión de lacalidad del mismo que tengan
otros agentes implicados. Avecessevaloramenos un l'fograma gratuito que otrol--·+"'~""""""'="""~.-
de coste elevado. Los costes pueden atenuar de.forma.habitual lasensaciónzl. .~
de bondad de un programa. Elevaluador no tiene por qué conocer lafórmula-
nivalidarla. Losagentes implicados-se..forma~ILSin.tonia..con_sLL\éida..p.e.rsonal:=:-,_+ _
ideas sobre lasvirtudes de algo, entre las que se incluyen, consciente e in-
conscientemente, cualesquiera ingredientes que laexperiencia ylarazón les
enseñen. Lacalidad esuna construcción del agente implicado y.aveces.asíha
de ser tratada.
En ocasiones, es útil examinar estimaciones de los recursos dedicados
adistintos objetivos del programa. En 1969, en el CIRCE teníamos un con-
trato para desarrollar métodos de evaluación de la actividad ylos materia-
lesde las escuelas locales para el Programa de Estudiantes Superdotados de
lIlinois. En el informe del final del primer ano calculamos la división
de trabajo ycostes según se muestra en el cuadro 38 del capítulo 7.
En la evaluación de políticas se tienen en gran consideración el análi-
sis de costes ylos estudios de coste-beneficio. En ese terreno, la atención
de más largo alcance no está dedicada alevaluando concreto, sino aun eva-
luando más amplio compuesto colectivamente de muchos casos que utili-
zan el mismo enfoque operativo o lasmismas instalaciones. En ocasiones se
dice que lamejor manera de hacer comparaciones entre alternativas escal-
culando larelación coste-beneficio de cada una de ellas. En elcaso del Progra-
La evaluación libre de objetivos fue inventada por Michael Scriven
(1973) con la intención, en parte, de protestar contra las pretensiones de
gerentes y patrocinadores de limitar la evaluación a 10que ellos querían
que se evaluase, pero también de clarificar la obligación que tiene el eva-
luador o la evaluadora de decidir qué grado de atención debe prestarse a
los diferentes objetivos.
Costes
Elconocimiento de la calidad de un programa suele tener una utilidad limi-
tada si,asu vez, no se adquiere un cierto conocimiento de sus costes. Eleva-
. ~.
130 EVAlUACiÓNCOMPRENSIVA
ma de Educación para Estudiantes Superdotados ycon Talento Especial de
aplicación en todo el estado de Indiana (véase el recuadro siguiente), los
costes estimados favorecían el enfoque del enriquecimiento por encima
del de laaceleración, pero los beneficios estimados para el alumnado favo-
recían el segundo. No se calculó ninguna ratio cuantitativa para realizar
una comparación objetiva entre ambos porque laescala de los beneficios y
la de los costes era demasiado hipotética. Así pues, al Departamento de
Educación de Indiana se le presentaron factores que influían en los costes
ylos beneficios, pero no ratios específicas susceptibles de comparación.
Según sepudo apreciar, esta segunda política implicó laaparición de un enor-
me sobrecoste relacionado con loscursos acelerados adicionales necesarios en
años posteriores para losalumnos ylasalumnas superdotados ocon un talento
especial. (Stake, Raths, Denny,Stenzel yHoke, 1986)
Lasescuelas participantes en elPrograma de Educación para Estudiantes Super-
dotados y con Talento Especial del estado de Indiana en 1985 podían elegir
entre dos estrategias curriculares. Así, la política del superintendente estatal
apoyaba eldesarrollo yelusode:
El enriquecimiento, con cursos yactividades especiales, mínimamente
conectadas con elcurrículo general.
La aceleración, con cursos yactividades especiales destinadas a la realiza-
ción de un trabajo avanzado en lasprincipales asignaturas académicas.
Los datos para analizar estos costes se obtuvieron a partir de una en-
cuesta enviada a todas las corporaciones (distritos) escolares participantes.
El formulario de la misma se muestra en el cuadro 10.
El análisis de los costes de un programa es dificil y,según los supues-
tos que se asuman, puede inducir bastante aerror. Para buscar ayuda en la
literatura profesional sobre el tema, se puede empezar con Mun C. Tsang
(1997). Elenfoque de coste-beneficio en educación yprogramas sociales es
deudor en gran medida del pensamiento de Henry Levin (véase Levin y
McEwan, 20()1). Por su parte, Barhara Humrnel-Rossi yJan e Ashdown
(2002) han publicado un resumen de las últimas tendencias del arte de los
análisis de coste-beneficio yde coste-eficacia.
Representacionesdelrendimiento
Supongamos que el presidente le llama yle pide una evaluación de laCruz
Roja estadounidense, yque la quiere en una hora. Usted, obviamente, la
haría. Yahora es su madre la que quiere ponerse al tanto de la residencia
1 i j '~'j;.
LAEVALUACIÓNBASADAENES/ÁNDARES
de ancianos Golden Skies. y su obispo querría una evaluación del retiro es-
piritual de invierno. No todas ellas serían en la misma hora, por supuesto,
pero lo que usted haría en una hora es, más o menos, lo que haría en una
semana o en un año: averiguaría todo lo que pudiera sobre los factores yel
rendimiento yprepararía unos informes que serían cada vez más probados
yexperimentados. Lo que aumentaría en gran medida sidispusiera de más
tiempo sería la confianza que usted mismo tendría en lo que usted les di-
jera al presidente yalas otras dos personas.
Una de las primeras cosas de lasque se daría cuenta sería que hay per-
sonas que saben más de ese tema que usted. Asíque acudiría aInternet ybus-
caría pistas en Google. Como necesitaría documentos que citar, cogería el
teléfono ypediria que le aconsejaran acerca de los informes ylasfuentes de
datos existentes. Tiene poco tiempo para leer ypara eso senecesita demasia-
do. Así que tiene que confiar en otras personas que sepan sobre el tema.
Cuadro10.EsNmocióndecostesdelprogramoGiftedjTalenteddeIndianoporolosescueloslocoles
COSTES PARALAESCUELADELAEDUCACIÓN
PARAESTUDIANTES SUPERDOTADOS
Nota: en todas lasrespuestas alaspreguntas de estasección tenga sóloen cuen-
talosdatos para 1985-1986.
1. ¿Cuánto dinero recibió sucorporación en 1985-1986de laOficina para Es-
tudiantes Superdotados ycon Talento Especial de Indiana en apoyo de su
proyectoIDEG/T? (IDE =Departamento deEducación deIndiana; G/T =Pro-
grama de Educación para EstudiantesSuperdotados yconTalento Especial)
1. dólares
2. ¿Cuántos estudiantes fueron beneficiarios inmediatos de losservicios yre-
cursos adquiridos con lasubvención del IDE? (Nota: esta cifra debería co-
rresponderse con lostotales que seindiquen en lassecciones IVyVI.)
2. N= __
3. ¿Cuántos profesores yprofesoras participaron en programas de desarrollo
de personal ode servicio interno financiados con estos fondos del IDE?
3. N= __
4. Para damos una perspectiva muynecesaria para nosotros, por favor,identi-
fique loscostesadicionales (proyectados hasta elfinaldelaño) relacionados
con larealización del proyecto IDEG/T. Incluya tanto ítems recogidos en
partidas presupuestarias concretas como costes ocultos o compartidos,
131
132 EVALUACIONCOMPRENSIVA
.... .......................................................
como, posiblemente, dinero correspondiente alcapítulo 2u otras subven-
ciones o donaciones: todos aquellos costes de la realización del proyecto
que no estaban cubiertos por labeca IDEG/T. Calcule una estimación de
lacantidad gastada en cada uno de losfines indicados acontinuación.
(Reconocemos que estamos pidiendo información de laque no esfácil dispo-
ner. Por favor,indique estimaciones realistas.)
Costes adicionales en desarrollo de personal, incluidos viajesydietas.
4a. -- dólares
Costes adicionales en retribuciones alprofesorado para desarrollo curricular.
4b. -- dólares
Costes adicionales del proyecto (no cubiertos por la subvención) en concepto de
profesores sustitutos.
4c.--
dólares
Costes adicionales en asesores.
4d.--
dólares
Costes adicionales en salarios administrativos.
4e.
--
dólares
adicionales en salarios
por eIlDE G/T.
dólares
adicionales en personal
__
dólares
adicionales en materiales,
--
dólares
adicionales
--
costes
__
adicionales
--
.....
134 EVAlUACIÓN(OMPRENSIVA
No espere averiguar más una fracción mínima de aqué se dedican en
laCruz Roja, o en Golden Skies, o en el retiro espiritual de invierno. Nece-
sita una declaración formal (o informal, incluso) del programa, las activi-
dades y los objetivos del mismo, posiblemente mediante algún informe
obtenido de Internet. No seolvide del bibliotecario o de la bibliotecaria de
referencia en la biblioteca grande que tenga más cercana. Quizás alguien
pueda enviarle algunas páginas por fax. Sino se mencionan directamente,
las necesidades quedarán implícitas en el informe. Puede que quiera usted
dedicar algunos minutos a pensar en quién más está ofreciendo esos mis-
mos servicios o en qué sucedería siel evaluando desapareciera. ¿Yqué más
haría usted? Tiene que recurrir a otras personas. Yoestoy seguro de que
llamaría a Rita. Usted también llamaría asu propia Rita.
Ala hora de informar de su trabajo, usted querría referirse largo yten-
dido al rendimiento. Es un buen tema sobre el que preguntar a su biblio-
tecario de referencia. Pero si hay poco tiempo, simplemente tiene que
encontrar aalguien con conocimientos que haya escrito yasobre este tema
(mejor si lo ha hecho tras largo estudio ycon objetividad). Por supuesto,
preguntar es impertinente. Pero usted lo hace: ¿cuáles son los problemas
que plantea la calidad de servicio? ¿Existen grupos que defienden puntos
de vista distintos yque tienen, como consecuencia, diferentes estándares y
visiones del rendimiento? ¿Cuál es el principal motivo de decepción?
En el caso de la Cruz Roja, lo que probablemente más le preocupará
a usted será obtener una buena información sobre rendimiento. Si usted
trabajara para la Oficina de laContabilidad General de los Estados Unidos
(la GAO) a las órdenes de Eleanor Chelimsky ydispusiera de un año para
estudiar la Cruz Roja, entrevistaría a personas que trabajaran en la sede
central yaalgunas otras de los equipos de auxilio. Luego leería un gran nú-
mero de los documentos existentes. Puede que se decidiera a encuestar a
los beneficiarios si así lo recomendara la existencia de algún desastre en
particular, pero probablemente ni siquiera con un estudio amplio de los
beneficiarios ylasbeneficiarias dispondría usted de laclase de información
basada en criterios que necesita. En laevaluación de laresidencia de ancia-
nos o del retiro espiritual, sin embargo, síque necesitaría con casi total se-
guridad la opinión de los beneficiarios.
La pregunta sobre cuál es realmente el rendimiento del evaluando
merece que se le dedique una detenida reflexión. ¿Puede éste ser recono-
cido por los beneficiarios y las beneficiarias? ¿Los miembros del personal
tienen una concepción global del evaluando? Cuanto más complejo sea el
funcionamiento de dicho evaluando, más necesita usted hablar con geren-
tes o directivos que gocen de perspectivas amplias del mismo o con investi-
gadores o investigadoras que estén realizando estudios críticos. Una de las
frases que usted dirá por teléfono será: «Tengo un par de preguntas que
necesito hacerle asu supervisor».
~ J'ti- ~ ~.. i !\' .".~
I
LAEVAlUACIÓNBASADAENEs¡INDARES
De acuerdo, usted no vaallamar al director de la Cruz Roja ni ala se-
nadora Elizabeth Dole, la antigua directora. Tampoco se rinde si tres per-
sonas le cuelgan el teléfono cuando las llama. Lo que quiero decir es que
usted necesita aplicar buenas dosis de ingenio yde perseverancia para lle-
gar acomprender el alcance del evaluando, sus imágenes positivas ynegati-
vas,ysusactividades. Usted está tratando de averiguar su calidad y puede que
sea capaz de obtener mejores datos de los que nadie ha conseguido jamás,
pero tampoco debería suponer que sólo los datos sobre rendimiento que
usted recoja serán los que valga la pena incluir en su estudio.
Los mejores datos sobre calidad, productividad, ganancias o efectivi-
dad de un programa son, probablemente, los que se obtienen de las me-
diciones del rendimiento. Puede tratarse del rendimiento de los
receptores, del rendimiento del personal, de la percepción que los agen-
tes implicados tienen de los beneficios del programa, o de todos esos
factores al mismo tiempo. Esos datos pueden evidenciar una mejora, un
avance desde el momento 1hasta el momento 2, o una caída en el rendi-
miento. Usted preguntará directamente alaspersonas cómo han mejorado
(o empeorado) las cosas.
Cuando formula preguntas sencillas, normalmente necesita hacer las
mismas preguntas a muchas personas para que los datos resultantes sean
creíbles. Agregamos esos datos ycalculamos los estadísticos descriptivos co-
rrespondientes e incluso, aveces, análisis de regresión o modelos lineales.
La inferencia estadística -Ia inferencia de las características de una muestra
auna población (real o hipotética) más amplia- puede estar indicada o no.
(Ysi no, ¿por qué no?) Tengan en cuenta que todos estos procedimientos
estadísticos implican que se tenga que buscar la verdad en el territorio de
lasgrandes mediciones agregadas, algo que no resulta directamente visible
alosojos de los miembros de! personal, de los agentes sociales implicados o
de los evaluadores o las evaluadoras. La alternativa alanálisis agregado esel
análisis interpretativo: en éste, la verdad acerca del programa radica en lo
que ciertos individuos pueden ver por símismos. La mayoría de las buenas
evaluaciones contienen elementos de ambos, incluso aunque, a veces, los
datos agregados ylos interpretativos apunten hacia conclusiones distintas.
Es posible que usted crea que sólo se puede llamar a sí mismo o a sí
misma evaluador o evaluadora siagrega un gran número de observaciones
o de respuestas yrealiza el análisis estadístico consiguiente. La evaluación
basada en estándares de un programa de gran tamaño incluirá general-
mente una gran cantidad de información estadística, pero la esencia de la
responsabilidad consiste en alcanzar las mejores conclusiones posibles
acerca de la calidad del programa. Ynada de esto queda garantizado por
e!simple hecho de preguntar a un elevado número de personas, especial-
mente cuando se les pregunta por lacalidad de decisiones en las que poco
han podido intervenir.
135
136 EVAlUACiÓNCOMPRENSIVA
Para evaluar el rendimiento, necesita recoger observaciones repetidas
de cada uno de los «rendimientos» importantes. Para evaluar el retiro es-
piritual de invierno, es importante obtener datos sobre la planificación de
las actividades ysobre laparticipación en lasmismas. No hace falta resumir
el rendimiento en una única valoración. Las sesiones en grupos reducidos
pueden ser de una calidad muy distinta a las de las sesiones plenarias. Po-
demos llamado «análisis descriptivo». De usted depende pensar, especifi-
car, describir y obtener datos valorativos sobre el rendimiento de los
diversos elementos.
Loquefalla
Nunca hay tiempo suficiente. El presidente quería que le llamara en una
hora. LaAdministración de Prestaciones para losVeteranos de Guerra que-
ría nuestra evaluación del programa de «redacción centrada en el lector-
en tres meses. Phyllis cuenta con veinte días. Su supervisor quiere, además,
que usted tenga terminada su parte de otro estudio de evaluación este
mismo mes (iYestán también todos esos otros encargos pendientes ... !).
Cuando usted escriba su tesis, es posible que piense que, al menos enton-
ces, tendrá el tiempo que necesita, pero nunca hay tiempo suficiente.
Puede que quiera organizar tres sesiones de prueba de su instrumento
principal, pero que se vea apremiado a reducirlas incluso a una sola.
y luego está la validez. El punto más débil del trabajo de evaluación
profesional es, probablemente, la limitada validación de las interpretacio-
nes. Los evaluado res no obtienen garantías adecuadas de la validez de las
representaciones de las necesidades ylos rendimientos. Existe la creencia
ampliamente extendida de que sise obtiene ayuda de expertos o expertas
(es decir, de personas como quinesiólogos, coreógrafos yprofesores o pro-
fesoras destacados), yano es necesario cotejar la correlación de las puntua-
ciones obtenidas con medidas independientes del factor. Pero la validez sí
que lo exige. Nunca hay tiempo ni financiación suficientes, ni siquiera en
los estudios más prestigiosos, para validar las mediciones. Es importante,
de todos modos, que cada evaluador reconozca el riesgo de utilizar proce-
dimientos no validados de recogida de datos yadvierta adecuadamente a
los lectores de su informe.
Jack Easleyera elevaluador formativo del proyecto de desarrollo curricular en
matemáticas de MaxBeberman. Losencargados de redactar lasdiversas leccio-
nes lasiban creando yJack hacía que losprofesores ylasprofesoras de un redu-
cido número de escuelas las probaran en sus clases de matemáticas. Llegó a
hacer de aquel procedimiento algo tan rutinario que podía obtener lasrespues-
1 rr ~"" "Tí
~- { $E.J lo
LAEVAlUACiÓNBAlADA[NlllANOAm
tasdelprofesorado ydelalumnado, con comentarios incluidos, yremitirlas alos
autores en sólo dos semanas. Elproblema era que, para entonces, éstos yaha-
bían decidido cambiar laexplicación oinsertar problemas adicionales entre los
ejercicios para losalumnos.
Uno de los aspectos más desalentadores de los estudios evaluativos es
la falta de cooperación de los encuestados o encuestadas yde otros pro-
veedores de datos. Muchos de éstos no están convencidos de que valg-ala
pena saber nada acerca de la evaluación o participar en ella. Algunos
piensan incluso que la evaluación servirá más para hacer peligrar su po-
sición que para mejorarla. Yla mayoría tienen ya demasiadas cosas a las
que dedicarse.
Así pues, suele ser difícil obtener un índice respetable de cuestiona-
rios cumplimentados ode personas que sesometen atests voluntarios. Mu-
chas personas se inclinan a ayudarle más como favor personal que como
modo de contribuir a crear información técnica para la mejora de la ges-
tión. Se necesita una gran dosis de persuasión para poder completar mu-
chos estudios de evaluación. Aveces, ayuda tener amano el informe de un
estudio anterior -que goce de buena reputación yno nos resulte especial-
mente amenazador- para mostrarnos qué es lo que se puede producir.
Charles Murray había firmado contratos con unas cuantas escuelas participantes
para que leenviaran datos de su alumnado para laevaluación que estaba reali-
zando de Cities-in-Schools, un programa federal declarado prioritario ydotado
deamplia financiación destinado aproporcionar serviciosalasfamiliasatravésde
trabajadores sociales instalados en las propias escuelas. Losdatos nunca llega-
ron. (Stake, 1986)
RELATO
(ElSr.Sagredo yPhyllisestán comiendo una sopa yunos sandwiches en elcome-
dor de laempresa. Piden alSr.Ferdy,miembro del personal desde hace treinta
años, que sesiente con ellos.)
PHYLLIS:Ferdy, ¿cómo consideras este curso de Formación en Mentorización
para elPersonal Sénior comparado con lamanera en que seformaba antes
alosmentores?
FERDY: Bueno, durante mucho tiempo no tuvimos regla alguna sobre cómo ser
un mentor. Sólo preguntábamos alosnuevos sinecesitaban algo. Sino los
ayudábamos, la mayoría no decían nada porque no creían que pudieran
pedir ayuda.
137
138 fvllUAClÚN(OMPiINIIVA
SAGREDO:Pero hará cosade diez años empezamos ahacer que losmentores ela-
boraran un informe trimestral apartir de lospuntos incluidos en una lista
de control.
FERDY:Efectivamente. Esosirviópara recordamos que había ciertas cosasde las
que también teníamos que hablar.
SAGREDO:Ylagente empezó aobservar aCeleste. Ellasemostraba especialmente
sensible con cómo losmásjóvenes encajaban odejaban de encajar.
FERDY:Seconvirtió en una especie de mentora para losdemás mentores.
PHYLLlS:¿Fuelalistade control laque cambió laidea que setenía de lamento-
rización?
FERDY:¿Mepregunta por losobjetivos de laformación?
PHYLLlS:Sí,en cierto sentido.
FERDY:Ahora hay objetivos que aparecen yaenunciados en la tapa misma del
paquete formativo.
PHYLLlS:Pero probablemente fue lasituación de Davislaque hizo que elConse-
jo reorganizara laformación.
.FERDV:Noqueremos que esovuelvaaocurrir.
PHYI.L1S:Sr.Ferdy,¿cree usted que sería una buena idea convocar amedia doce-
na de personas que hayan hecho la formación para que hablen de las
necesidades reales de lamentorización yde siesta formación en concreto
seadecua anuestra situación?
FERDY:Esolegustaría aCeleste.
SAGREDO:Phyl, usted dijo que necesitábamos comparar el rendimiento de los
formadores yde losformados con unos determinados estándares. ¿Cuáles
serían?
PHYLLIS:Necesitamos utilizar unos estándares para evaluar a los formadores y
otros estándares adicionales para evaluar a losformados yalasformadas.
Están relacionados, pero son diferentes, ysuponen, además, sólouna parte
de los estándares que utilizaremos para evaluar el curso. Son estándares
que no están escritos en ninguna parte, o sea que tendrán que estar en la
mente de quienes contribuyan ahacer lasíntesisfinal.Yestaspersonas sere-
mos yo (principalmente) con laayuda posiblemente de laSra.Vivaniyde
un experto externo.
LaSra.Vivaniserefiere aun mentor ideal ynosotros trataremos de descu-
brir tanto como nos sea posible sobre la formación real, lo cual nos pro-
porcionará algunos criterios sobre losformados ylasformadas. En cuanto
aloscriterios derendimiento delosformadores yformadoras,pediré atodos
losmentores ymentoras actuales que guarden una copia de susmemoran-
dos yque registren sus contactos durante un mes. Obtendré reacciones
dequienes han finalizado yaelprograma. Recogeré datos sobre cadauno de
loscriterios y,luego, con ayuda de otras personas. decidiré cuál esun rendi-
miento malo, bueno o excelente. Asípues, yo interiorizo losestándares y
.•. i :',--'
LAEVAIUAClÚNBAlIOAENESTANOAilS
éstos quedan luego reforzados por larevisión que otras personas hacen de
miscálculos. Estudiaré concienzudamente todos losdatos, no sólo losren-
dimientos de formado resyformados. Luego, redactaré borradores en los
que seresuma lacalidad delaformación ylosirémodificando amedida que
vayaobteniendo nuevas orientaciones apartir del estudio ylareflexión adi-
cionales.
FERDY:¿Ysería ése suinforme?
PHYLLIS:No,enelinforme seexplicarían también laformación, lanecesidad que
haydelamisma, loscriterios ylosestándares, ylosresultados ymisinterpre-
taciones. Yovolvería a hablar con algunas de las personas que me hayan
dado información yescucharía sus reacciones a mis interpretaciones. Eso
me daría nueva información. Yentonces pediría aalguien con experiencia
en formación de mentores -corno un amigo que tengo en eldepartamento
de Personal de laMarina- que mecomentase latotalidad delborrador revi-
sado. ¿Qué lesparece?
SAGREDO:Amímesuena másaopiniones que aestándares. ¿Nopodemos hacer
nada para que seamenos personal?
PHYLLIS:Bueno, lomásobvio siempre eshacer que losreceptores ylasrecepto-
rasde laformación hagan un testde rendimiento. Podemos emplear eltest
de Orlando, pero todavía no hasidovalidado yno aún no tiene tablasuotra
cosapor elestilo que indiquen loque significan lasdiferentes puntuaciones
en términos decompetencia en mentorización. Tendríamos que hacer lasin-
terpretaciones por nuestra cuenta. Podríamos comparar laspuntuaciones
de personas que hayan recibido laformación con otras de personas que no
lahayan recibido, pero no creo que esosdosgrupos fuesen comparables en
relación aotros criterios, como losaños de experiencia en laempresa olas
habilidades interpersonales. De todos modos, yopreferiría probar el test
en unas pocas personas receptoras de laformación y,apartir de ahí, ya
decidiríamos cómo proceder.
SAGREDO:Deacuerdo. Noapartemos alagente de su trabajo másde 10que sea
necesario.
(Continuará)
139
