Revista Mexicana de Investigacin EducativaISSN: 1405-6666revista@comie.org.mxConsejo Mexicano de Investigacin Educativa,A.C.Mxico

Garca Garduo, Jos MaraEl avance de la evaluacin en Mxico y sus antecedentes

Revista Mexicana de Investigacin Educativa, vol. 10, nm. 27, octubre-diciembre, 2005, pp. 1275-1283

Consejo Mexicano de Investigacin Educativa, A.C.Distrito Federal, Mxico

Disponible en: http://www.redalyc.org/articulo.oa?id=14002721

Cmo citar el artculo

Nmero completo

Ms informacin del artculo

Pgina de la revista en redalyc.org

Sistema de Informacin CientficaRed de Revistas Cientficas de Amrica Latina, el Caribe, Espaa y Portugal

Proyecto acadmico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto

Revista Mexicana de Investigacin Educativa 1275

EL AVANCE DE LA EVALUACINEN MXICO Y SUS ANTECEDENTESJOS MARA GARCA GARDUO

n primer lugar, agradezco al COMIE, particularmente a Eduardo de laGarza, el haberme invitado a participar como comentarista en la pri-

mera seccin temtica de la RMIE dedicada a la evaluacin. Antes de ha-blar sobre el artculo de Elisa Fernndez y Edna Luna (2004), al cual debola invitacin, quisiera que se me consintiese comenzar con la presentacinsucinta del panorama de la evaluacin, en particular de dos de las reasque aborda esta seccin temtica, evaluacin de programas y de la docen-cia, y hacer un somero balance de las mismas dimensiones sobre su avanceen Mxico; posteriormente comentar el tema y artculo de Fernndez yLuna.

Hoy en da en el sector educativo, y en otros ms, es muy comn hablarde la evaluacin. El desarrollo de la evaluacin ha sido producto de dosdisciplinas que, posteriormente, convergieron en el camino: la psicologay la educacin. A la psicologa, en particular a la psicometra, se le debe eldesarrollo de los primeros tests de rendimiento como el Stanford AchievementTest en 1923. Sin duda los psiclogos como Edward L. Thorndike tuvie-ron mucho que ver en ese desarrollo. Sin embargo, es poco conocido quea Ralph Tyler se le debe la creacin del trmino evaluacin y, posterior-mente el de assessment, para referirse a la estimacin del desempeo esco-lar, y que este gran educador e investigador fue el primero que disepruebas de rendimiento basadas en los objetivos del curso, tal y como seconocen el da de hoy (Cordero y Garca Garduo, 2004), a principios dela dcada de los treinta. La distincin entre assessment y evaluacin es muyfina y, en ocasiones, hasta confusa. Por assessment los estadunidenses en-

Jos Mara Garca Garduo, Universidad Autnoma del Estado de Hidalgo. CE: josemariagarduno@yahoo.com.mx

E

Consejo Mexicano de Investigacin Educativa1276

Garca

tienden la evaluacin sistemtica, usualmente a travs de pruebas del des-empeo escolar; en cambio, evaluacin es un trmino ms amplio.

Tyler es considerado el padre de la evaluacin educativa en todos lossentidos. No slo acu el trmino de evaluacin y cre la metodologapara construir pruebas objetivas de rendimiento, a principios de la dcadade los treinta, sino que tambin ide el primer mtodo para evaluar pro-gramas educativos a raz del estudio curricular ms grande que se hayarealizado en Estados Unidos: El estudio de los ocho aos (1933-1941) delcual Tyler, junto con sus discpula y asistente Hilda Taba, fue el coordina-dor de evaluacin de ese gran proyecto (Ridings, 1981). La evaluacin deprogramas se inspir en los mismos principios del mtodo tyleriano paradisear tests de rendimiento: evaluar en qu medida se han logrado losobjetivos; estos mtodos para valorar el aprendizaje y los programas estu-vieron sin cuestionarse por ms de 20 aos. El cuestionamiento comenzen 1963 con la publicacin de un artculo de Lee Cronbach (otro discpu-lo de Tyler) sobre el mejoramiento de los cursos a travs de la evaluacin.Fue este gran psiclogo el primero en hablar sobre la evaluacin formativa,sin usar ese trmino (Cronbach, 1983).

Posteriormente, a raz de la Guerra contra la pobreza y el Acta de educa-cin elemental, promulgadas en 1965 por el Gobierno Federal estadouni-dense, surge la necesidad de rendir cuentas sobre los miles de millones dedlares destinados a la educacin y a otros programas sociales. Para llevara cabo la tarea se contrataron especialistas en evaluacin que determina-ran la utilidad de los programas (Stufflebeam y Shinkfield, 1987). Estosespecialistas pronto se dieron cuenta que el mtodo tyleriano no proveade toda la informacin necesaria sobre la marcha y utilidad de los mismos.Entre 1966 y 1971 surgen las principales aportaciones terico-metodolgicassobre la evaluacin de programas que han dado pie al desarrollo de otrasmodelos y variantes metodolgicas: el modelo CIPP (contexto, insumo procesoy producto) de Stufflebeam, el orientado al consumidor de Scriven, el dela figura de Stake (de inspiracin Tyleriana) y posteriormente su mtodocualitativo llamado evaluacin respondente. Este ltimo fue el primer mo-delo cualtitativo basado en el estudio de casos.

En la presentacin a la seccin temtica que comentamos, De la Garza(2004a) analiza los orgenes de los modelos naturalistas de evaluacin enInglaterra en los setenta. El autor provee de informacin poco conocidasobre los orgenes de la tradicin naturalista. Stake fue participante de las

Revista Mexicana de Investigacin Educativa 1277

El avance de la evaluacin en Mxico y sus antecedentes

conferencias que describe De la Garza; los trabajos de Parlett y Hamilton,creadores del modelo de evaluacin iluminativa y participantes en esa con-ferencia, fueron muy importantes para fundamentar su modelo de evalua-cin respondente.

A partir de la dcada de los setenta la evaluacin empez una etapa deprofesionalizacin vertiginosa. En 1975 los evaluadores ms connotadoscomenzaron a planear la construccin de estndares de evaluacin que guiarnla prctica profesional; para ello fue creado el Comit Conjunto de Eva-luacin Educativa que public en 1981 los primeros estndares de evalua-cin de programas. En 1994 sali a la luz la segunda edicin de los estndares(Joint Committee on Standars for Educational Evaluation, 1994), se divi-den en cuatro grandes reas: utilidad, viabilidad, propiedad (tica) y pre-cisin (mtodo) de la evaluacin. El estndar ms peculiar de la evaluacin,y que la hace diferente de la investigacin, es que la evaluacin debe sertil. Para realizar ese propsito es necesario que, adems de entregar in-formes oportunos, el evaluador debe considerar las necesidades y expecta-tivas del cliente y los grupos interesados en la evaluacin. Cuando se hacesin que el evaluador se involucre con esos aspectos, considerando sola-mente o en gran medida las creencias y expectativas del evaluador, se ledenomina evaluacin de caja negra (black box evaluation). El Comit Conjuntorecomienda que el proceso de metaevaluacin, evaluacin de la evalua-cin, se lleve a cabo bajo los estndares citados.

Podra decirse que las obras de Tyler, Scriven, Stufflebeam y Stake hansido las cumbre que han cobijado, inspirado y desarrollado el campo torico-metodolgico de la evaluacin de programas. Todos ellos, con excepcin deTyler, estn vivos y activos dentro del campo. Recientemente Scriven fueinvitado por el Centro de Evaluacin de la Universidad de Western Michigan,hasta hace poco dirigido por Daniel Stufflebleam, a dirigir el Journal ofMultidisciplinary Evaluation. Parece ser que dedicarse a la evaluacin estasociado con longevidad y productividad intelectual. Para comprobarlo esslo cuestin de mirar la actividad de esos padres (vivos) de la evaluacin.

La evaluacin de la docenciaAl igual que la evaluacin de programas, la de la docencia comenz y sedesarroll en Estados Unidos, pero han seguido caminos paralelos queraramente se han entroncado. Herman Remmers de la Universidad deIndiana, cre el primer cuestionario de evaluacin de la docencia (CEDA)

Consejo Mexicano de Investigacin Educativa1278

Garca

en 1927 (Centra, 1993). Remmers y su equipo fueron, prcticamente losnicos que investigaron sobre el tema durante los siguientes 25 aos.

El uso de los CEDA comenz a popularizarse a partir de finales de ladcada de los sesenta. En un principio, las instituciones universitarias deese pas promovan la aplicacin voluntaria, posteriormente se hizo obli-gatoria. Hoy en da ms de 90% de las instituciones estadunidenses eva-lan la docencia por medio de esos cuestionarios (Seldin, 1993). El uso delos CEDA ha promovido el desarrollo de la investigacin, principalmenteen Estados Unidos y Canad. Al respecto, se pueden distinguir al menoscuatro fases en el desarrollo: la primera corresponde a la poca de Remmers;la investigacin fue escasa y poco sistemtica; la segunda la podramossituar en la dcada de los setenta donde la mayora estuvo dedicada a de-terminar la validez y confiabilidad de los CEDA; la tercera puede situarseen los ochenta; aqu los investigadores estuvieron ms preocupados porrelacionar los resultados de los CEDA con caractersticas de los alumnos, ladisciplina y el profesor (Garca Garduo, 2000). A partir de los noventa,despus de haber sido uno de los temas ms estudiados de la educacinsuperior en dcadas anteriores, el inters de los investigadores comenz adisminuir, pero algunos siguen elaborando sobre el tema. Otros, comoHerbert Marsh, probablemente el investigador ms importante desde losochenta, estn cambiando de objeto de investigacin. Sus intereses recien-tes tienen que ver con el desarrollo del autoconcepto y su relacin conconstructor de la motivacin.

El desarrollo de la evaluacin en Mxico: un proceso interrumpidoEl trabajo de Martnez Rizo (2001) presenta un panorama muy completodel desarrollo de la evaluacin del aprendizaje y de las pruebas en el mediointernacional y en Mxico. De acuerdo con este autor, el nacimiento de laevaluacin educativa y concretamente de la del aprendizaje en Mxico co-menz muy temprano, en 1936, con el Instituto Nacional de Psicopedagoga.Sin embargo, a decir del autor es en la dcada de los noventa con el lanza-miento del Examen de Habilidades y Conocimientos Basicos (EXHCOBA),la creacin del CENEVAL en 1994 y el rea de evaluacin de la SEP en 1995,que se ha atendido de manera sistemtica la evaluacin del aprendizaje.

Puede colegirse que uno de los grandes problemas que se han tenido enel pas y que ha impedido el desarrollo de la evaluacin y la continuidaden los proyectos y programas es, por ejemplo, que en la evaluacin del

Revista Mexicana de Investigacin Educativa 1279

El avance de la evaluacin en Mxico y sus antecedentes

aprendizaje los registros formales son escasos o inexistentes salvo por lostestimonios sobre el gran salto hacia delante que se tuvo durante la se-gunda mitad de la dcada de los setenta, con la creacin de la DireccinGeneral de Evaluacin del SEP, encabezada por Ral Taln. En esa Direc-cin se form un grupo, la mayora de jvenes psiclogos egresados de laUNAM y de la UIA, que se dedic a elaboracin cientfica de pruebas derendimiento. Ese equipo, entre los que se cuentan ngel Lpez y Mestas,Mara del Rayo Jimnez, Carlos Garca Camacho, Enoch Tamariz, Ar-mando Vsquez, Mara Garca y Graciela Galindo, tradujeron artculossobre el tema, desarrollaron manuales de elaboracin de reactivos y deanlisis de tems; construyeron y aplicaron pruebas de rendimiento a muestrasnacionales. Sin embargo, el trabajo del grupo, el tiempo y el dinero inver-tido ha quedado perdido en algn archivo muerto de la SEP. La historiacomenz nuevamente a partir de la dcada de los noventa. A pesar de todoello, es en la evaluacin del aprendizaje donde Mxico tiene los avancesimportantes en esta materia. Existen tres instituciones importantes dedi-cadas al cultivo de la disciplina: el Instituto de Investigacin y DesarrolloEducativo de la UABC (IIDE), el CENEVAL y el INEE.

En materia de evaluacin de programas podra afirmarse que, en com-paracin con el desarrollo internacional y con el de otros pases de la re-gin, es una de las reas que en Mxico ha tenido menos desarrollo, apesar de que se public en espaol uno de lo primeros textos dedicados altema, me refiero a la obra de Carol Weiss (1975): Investigacin evaluativa.

Ese nivel escaso de desarrollo se manifiesta, por ejemplo, en que la ma-yora de los trabajos de evaluacin publicados se basan en el modelo decaja negra; que poco se preocupa de la utilidad de la evaluacin y toma encuenta los intereses de los usuarios del programa; bsicamente, se lleva acabo bajo la orientacin tyleriana de los objetivos. Asimismo, no adoptalos mtodos y estndares derivados de los enfoques ms importantes de laevaluacin de programas, o emplea trminos como evaluaciones cuantita-tivas o cualitativas, cuando en el escenario internacional se ha dejado deemplear esa terminologa, la cual fue derivada de la pugna entre lo cualita-tivo versus lo cuantitativo acaecida en las dcadas de los setenta y ochenta.En el campo de la evaluacin, esa pugna concluy a principios de los no-venta. De acuerdo con los estndares del Comit Conjunto (Joint Committee,1994), los informes de evaluacin deben incluir tanto informacin cuan-titativa como cualitativa.

Consejo Mexicano de Investigacin Educativa1280

Garca

En materia de la profesionalizacin de la evaluacin, algunos pases de laregin muestran avances ms notables que Mxico, por ejemplo, en 1989 secre la Asociacin Centroamericana de Evaluacin, con sede en Costa Rica.En el 2002 se crearon organizaciones profesionales de evaluacin en BrasilColombia y Per (Chianca y Youker, 2004). En Mxico, a pesar del dineroy esfuerzo dedicado no se ha formado ninguna asociacin profesional.

Evaluacin de la docenciaLa excepcin ha sido la evaluacin de la docencia. En esta rea Mxico hahecho progresos notables. El uso de los cuestionarios comenz casi a la paren que inici su uso sistemtico en Estados Unidos, a finales de la dcadade los sesenta. El introductor en Mxico fue el padre Ernesto MenesesMorales, sj, de la Universidad Iberoamericana. En 1971, en la UIA se creael primer cuestionario mexicano de evaluacin docente. En esa dcada enla UNAM se hacen varios trabajos de investigacin sobre el tema. Durantela segunda mitad de los ochenta ciertas universidades pblicas y privadascomenzaron a emplear CEDA de manera sistemtica en la evaluacin de lastareas docentes. En 1984 Arias Galicia public, por primera vez, las carac-tersticas psicomtricas de un instrumento de evaluacin docente.

A partir de los noventa, a la luz de los programas de estmulo, los cues-tionarios de evaluacin comenzaron a ser un tema comn y aceptado den-tro de las universidades pblicas. A mediados de esta poca se crea el GrupoInterinstitucional de la Evaluacin de la Docencia, al que pertenecen dosde las autoras de la seccin temtica publicados en este nmero. En estegrupo, que se form bajo el liderazgo de acadmicos de la UNAM, estninvolucradas, segn la numeralia de Eduardo Garza (2004b), ocho insti-tuciones de educacin superior (seis pblicas y dos privadas).

Durante los ocho aos de vida, el Grupo Interinstitucional de Evalua-cin de la Docencia ha producido una cantidad notable de libros, tesis,nmeros temticos y artculos sueltos, adems de haber realizado varias reunionesinternacionales sobre el tema. Al respeto se est preparando un artculo deinvestigacin que analiza el desarrollo y produccin de este grupo.

Uno de los dos trabajos de este grupo presentado en el reciente nmeroque comentamos de la RMIE es el de Elisa Fernndez y Edna Luna. Lasautoras buscaron indagar cules son los componentes de la docencia quelos profesores de los programas del rea de ingeniera y tecnologa consi-deran relevantes de integrar al cuestionario de evaluacin de la docencia

Revista Mexicana de Investigacin Educativa 1281

El avance de la evaluacin en Mxico y sus antecedentes

por los alumnos. Si slo nos atuviramos al objetivo del trabajo se podraconcluir, errneamente, que la investigacin es simple y que no vale mu-cho la pena invertir tiempo y recursos en llevar a cabo una investigacinde tal naturaleza. Sin embargo, el tema es valioso por s mismo.

A pesar de la popularidad creciente de los cuestionarios de evaluacin,y segn lo informado en diversas investigaciones producidas por el grupomencionado (Arbes, 2004; Gilio, 2000; Loredo y Grijalva, 2000), el do-cente no ha sido, en la mayora de los casos, un partcipe activo en elproceso de evaluacin de su desempeo. Para llevar a cabo el trabajo lasautoras siguieron una metodologa original y vlida, pues ya haba sidoprobada en otros estudios de una de las autoras del artculo (Luna, 2002).

Los resultados de su investigacin confirman los hallazgos internacio-nales (Cashin, 1990) y nacionales (Garca Garduo, 2003): las disciplinasle otorgan un peso diferente a ciertos aspectos de la evaluacin docente.Asimismo, que los profesores universitarios aceptan y consideran justo ynecesario ser parte activa en este proceso de evaluacin. Por otro lado, elestudio seala la importancia de los profesores en el mejoramiento de estetipo de instrumentos. La retroalimentacin que dieron nos muestra queen la enseanza de las ingenieras es importante la solucin de problemasy que la enseanza en reas que integran el plan de estudios puede se dife-rente. Adems, que los aspectos a evaluar sobre el desempeo docente va-ran de acuerdo con el tipo de curso y el nivel en que se encuentre situadodentro del plan de estudios.

El estudio de las autoras puede ser til para iniciar una discusin siste-mtica sobre la posibilidad de que los CEDA incluyan aspectos generalesaplicados a toda la poblacin universitaria y una seccin propia para cadadisciplina o rea de conocimiento. Cules seran las limitaciones y bon-dades de tener un cuestionario que incluyera aspectos generales para eva-luar la docencia de toda la institucin y que adems incluyera otros reactivosdirigidos a satisfacer las necesidades de evaluacin especficas de las dife-rentes disciplinas o carreras? Esta estrategia es conocida como el mtodode cafetera, creada en la Universidad de Indiana en Estados Unidos. Elnombre es una analoga de la manera en que el comensal elige los alimen-tos en una cafetera de autoservicio; de la misma forma se escogen los reactivosdel cuestionario para evaluar al docente.

Podemos apreciar que en Mxico la investigacin sobre la evaluacinde la docencia ha hecho progresos notables que sealan un desarrollo im-

Consejo Mexicano de Investigacin Educativa1282

Garca

portante y propio. Los programas de estmulo salarial y el Grupo Inter-institucional de Evaluacin de la Docencia han sido las piedras de toquepara tal desarrollo.

Finalmente, puede concluirse que el desarrollo del campo de la evalua-cin en Mxico ha sido, de alguna manera, ahistrico. Poco ha servido loque se hizo antes de la dcada de los noventa para la nueva etapa quecomenz en esos mismos aos. Para favorecer su desarrollo y continuidadconvendra pensar en la creacin de una gran asociacin mexicana de eva-luacin. Esta asociacin podra crear una revista de mayor alcance que lasactuales, que difundiera los avances de la disciplina y los hallazgos produ-cidos. Asimismo el INEE y el CENEVAL bien podran auspiciar la forma-cin de una asociacin profesional para superar el aislamiento y promoverel desarrollo de la disciplina en Mxico, como est ocurriendo en otrospases de la regin.

ReferenciasArbes, Ma. I. (2004). Evaluacin de la docencia: Una propuesta alternativa que consi-

dera la participacin de los profesores, Revista Mexicana de Investigacin Educativa,9, nm. 23, pp. 863-890.

Cashin, W. E. (1990). Students do Rate Different Academic Fields Differently, en Theally Franklin (eds.), Student Ratings of Instruction, New Directions for Teaching and Learning,nm. 43, San Francisco: Jossey-Bass, pp. 113-121.

Chianca, Th. y Youker B. (2004). La evaluacin en Amrica Latina y el caribe: Visingeneral de los desarrollos recientes, publicado originalmente en ingls en noviembrede 2004 en el primer nmero del Journal of Multidisciplinary Evaluation, y disponibleen web:http://evaluation.wmich.edu/jmde/.

Centra, J. A. (1993). Reflective faculty evaluation, San Francisco: Jossey-Bass.Cordero, G. y Garca Garduo, J. M. (2004). The Tylerian curriculum model and the

reconceptualists. Interview with Ralph W. Tyler (1902-1994), Revista Electrnica deInvestigacin Educativa, 6 (2), disponible en http://redie.uabc.mx/vol6no2/conteni-do-cordero.html.

De la Garza, E. (2004a). La evaluacin educativa, Revista Mexicana de InvestigacinEducativa, 9, nm. 23, pp. 807-816.

De la Garza, E. (2004b). Evaluacin de la docencia en la educacin superior, resea,Revista Mexicana de Investigacin Educativa, 9, nm. 23, pp. 933-946.

Fernndez, E. y Luna, E. (2004). Evaluacin de la docencia en el contexto disciplinario:La opinin de los profesores en el caso de la ingeniera y tecnologa, Revista Mexicanade Investigacin Educativa, 9, nm. 23, pp. 891-911.

Garca Garduo, J. M. (2000). Las dimensiones de la efectividad docente, validez yconfiabilidad de los cuestionarios de evaluacin de la docencia: sntesis de investi-

Revista Mexicana de Investigacin Educativa 1283

El avance de la evaluacin en Mxico y sus antecedentes

gacin internacional, en Rueda y Daz-Barriga (compiladores), Evaluacin de ladocencia, Mxico: Paids, pp. 41-62.

Garca Garduo, J. M. (2003). Profesores universitarios y su efectividad docente. Unestudio comparativo entre Mxico y Estados Unidos, en Perfiles Educativos, 25 (100),pp. 42-55.

Gilio, Ma. C (2000). La evaluacin docente desde una perspectiva participativa: el casode la licenciatura en Qumica de la Universidad Autnoma de Quertaro, en Rueda yDaz Barriga (coords.) Evaluacin de la docencia, Mxico: Paids, pp. 85-101.

Joint Committee on Standards for Educational Evaluation (1994). The program EvaluationStandards (2a ed.). Thousand Oaks, CA: Sage. Existe traduccin al espaol: ComitConjunto de Estndares para la Evaluacin Educativa (1998). Estndares para la eva-luacin de programas, Bilbao: Ediciones Mensajero.

Loredo, J. y Grijalva, O. (2000). Propuesta de un instrumento de evaluacin de la do-cencia para estudios de posgrado. Quertaro, en Rueda y Daz Barriga, Evaluacin dela docencia, Mxico: Paids, pp. 103-131.

Luna, E. (2002). La participacin de los docentes y estudiantes en la evaluacin de la docen-cia, Mxico: Universidad Autnoma de Baja California/Plaza y Valds.

Ridings, J. (1981). An interview with Ralph Tyler, Occasional papers, nm. 13, noviem-bre, disponible en http://www.wmich.edu/evalctr/pubs/ ops/

Martnez Rizo, F. (2001). Evaluacin educativa y pruebas estandarizadas. Elementospara enriquecer el debate, Revista de la Educacin Superior, 30 (120), pp. 71-85,disponible en: www.anuies.mx/principal/servicios/publicaciones/revsup/rres120/men5.htm.

Seldin, P. (1993 ). The Use and Abuse of Student Ratings of Professors,The Chronicle ofHigher Education, vol. 39, julio 21, p. 40.

Stufflebam, D. y Shinkfield, A. (1987). Evaluacin sistemtica, Barcelona: Paids.Weiss, C. (1975). Investigacin evaluativa, Mxico: Trillas.