15
Durante la última década del siglo pasado y la primera del actual la evaluación experimentó un desarrollo sin precedentes. De ser en los años setenta una actividad marginal llevada a cabo a tiempo parcial por académicos, como nos recordaba Ernst House, pasó a convertirse en los noventa en una pequeña industria profesionali- zada, con sus propias revistas, premios, reunio- nes, organizaciones y estándares (House, 1993). Y desde entonces no ha dejado de crecer y de expandirse hasta llegar a ser la gran empresa que hoy conocemos. Por todas partes se han estable- cido sistemas de evaluación y de acreditación de la calidad, tanto en el ámbito empresarial como en diversos sectores de la acción pública, se han constituido sociedades de evaluación de ámbito nacional, regional e internacional, se han puesto en marcha ambiciosos proyectos de elaboración ANALIZAR EL CONTEXTO PARA OBTENER EL MÁXIMO BENEFICIO DE LA EVALUACIÓN Analyzing context so as to optimize the benefits of assessment ALEJANDRO TIANA FERRER Catedrático de la UNED La educación y la formación se han convertido en objeto destacado de evaluación durante las dos últimas décadas, habiéndose desarrollado un gran número de iniciativas nacionales e internacio- nales con esa finalidad. Entre ellas, ocupan un lugar destacado los estudios orientados a evaluar el rendimiento de los sistemas educativos por medio de los resultados obtenidos por los estu- diantes. La mejora de la educación plantea la necesidad no solo de medir dichos resultados, sino de explicarlos adecuadamente. Y llevar a cabo esa explicación requiere identificar los principa- les factores que tienen relación con los resultados. Este trabajo aborda el análisis de los factores relativos al contexto, comenzando por subrayar la importancia que tiene tomarlos en considera- ción. A continuación se distinguen dichos factores de contexto de los de entrada y proceso y se identifican las principales variables que lo integran. Por último se presentan y comentan algunos ejemplos de análisis llevados a cabo poniendo en relación los factores de contexto con los resul- tados de los estudiantes. Las reflexiones que se realizan en este trabajo se basan en las aportaciones de estudios interna- cionales, como los desarrollados por la IEA (TIMSS, PIRLS…), la OCDE (Proyecto PISA), o el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), en su Segun- do Estudio Regional Comparativo y Explicativo (SERCE), entre otros. Palabras clave: Evaluación del rendimiento, Evaluación de los sistemas educativos, Análisis del contexto, Estudios de evaluación a gran escala, Explicación de los resultados de la educación. Bordón 64 (2), 2012, 15-28, ISSN: 0210-5934 • 15 Fecha de recepción: 20-3-2012 • Fecha de aceptación: 27-3-2012

Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

Embed Size (px)

Citation preview

Page 1: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

Durante la última década del siglo pasado y laprimera del actual la evaluación experimentó undesarrollo sin precedentes. De ser en los añossetenta una actividad marginal llevada a caboa tiempo parcial por académicos, como nosrecordaba Ernst House, pasó a convertirse en losnoventa en una pequeña industria profesionali-zada, con sus propias revistas, premios, reunio-nes, organizaciones y estándares (House, 1993).

Y desde entonces no ha dejado de crecer y deexpandirse hasta llegar a ser la gran empresa quehoy conocemos. Por todas partes se han estable-cido sistemas de evaluación y de acreditación dela calidad, tanto en el ámbito empresarial comoen diversos sectores de la acción pública, se hanconstituido sociedades de evaluación de ámbitonacional, regional e internacional, se han puestoen marcha ambiciosos proyectos de elaboración

ANALIZAR EL CONTEXTO PARA OBTENER EL MÁXIMO BENEFICIO DE LA EVALUACIÓNAnalyzing context so as to optimize the benefits of assessment

ALEJANDRO TIANA FERRER Catedrático de la UNED

La educación y la formación se han convertido en objeto destacado de evaluación durante las dosúltimas décadas, habiéndose desarrollado un gran número de iniciativas nacionales e internacio-nales con esa finalidad. Entre ellas, ocupan un lugar destacado los estudios orientados a evaluarel rendimiento de los sistemas educativos por medio de los resultados obtenidos por los estu-diantes. La mejora de la educación plantea la necesidad no solo de medir dichos resultados, sinode explicarlos adecuadamente. Y llevar a cabo esa explicación requiere identificar los principa-les factores que tienen relación con los resultados. Este trabajo aborda el análisis de los factoresrelativos al contexto, comenzando por subrayar la importancia que tiene tomarlos en considera-ción. A continuación se distinguen dichos factores de contexto de los de entrada y proceso y seidentifican las principales variables que lo integran. Por último se presentan y comentan algunosejemplos de análisis llevados a cabo poniendo en relación los factores de contexto con los resul-tados de los estudiantes.Las reflexiones que se realizan en este trabajo se basan en las aportaciones de estudios interna-cionales, como los desarrollados por la IEA (TIMSS, PIRLS…), la OCDE (Proyecto PISA), o elLaboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), en su Segun-do Estudio Regional Comparativo y Explicativo (SERCE), entre otros.

Palabras clave: Evaluación del rendimiento, Evaluación de los sistemas educativos, Análisis delcontexto, Estudios de evaluación a gran escala, Explicación de los resultados de la educación.

Bordón 64 (2), 2012, 15-28, ISSN: 0210-5934 • 15Fecha de recepción: 20-3-2012 • Fecha de aceptación: 27-3-2012

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 15

Page 2: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

y difusión de indicadores en ámbitos muy diver-sos, y se ha consolidado una pujante oferta deformación académica en materia de evaluación.

El cambio ha sido muy notorio, afectando a di-versas esferas de la acción pública, y entre ellasmuy singularmente a la educación. En efecto,en estas dos décadas se ha generalizado la cons-titución de sistemas nacionales de evaluacióneducativa que desarrollan distintos tipos deactividades. La aplicación de pruebas estan-darizadas de rendimiento, la construcción desistemas nacionales o internacionales de indi-cadores de la educación, la evaluación y autoe-valuación de los centros educativos o la valora-ción del desempeño docente son realidades quese manifiestan en todos los continentes. Hoyevaluamos (o al menos hablamos de evaluar)todos los ámbitos que se refieren a la educa-ción: los resultados logrados por los alumnos,los currículos impartidos en las aulas, el fun-cionamiento de los centros docentes e institu-ciones educativas, los programas educativosespecíficos o sectoriales y el trabajo del profe-sorado. Como consecuencia de ese proceso sos-tenido en el tiempo, la evaluación educativa haido abarcando ámbitos progresivamente másamplios, al tiempo que se ha diversificado,reforzando así una tendencia que ya se apunta-ba hace más de diez años (Tiana, 1996).

El interés de estudiar y explicar el rendimiento de los sistemaseducativos

Entre las operaciones puestas en marcha en esteperiodo, cabe destacar por su especial interés losprogramas orientados a estudiar el rendimientode los sistemas educativos. La educación y la for-mación se han convertido en objeto destacado deevaluación, recurriendo a diversos instrumentosy enfoques para llevar a cabo dicha tarea. Pero laatención no se ha centrado solamente en los pro-cesos de enseñanza y aprendizaje, por más queconstituyan el núcleo central de la tarea educati-va, sino que los propios sistemas de educación

y formación se han convertido en objeto deescrutinio público. Así, por no citar sino un parde ejemplos actuales, hoy contamos con diversosmodelos de sistemas de indicadores, que nos pro-porcionan una perspectiva muy completa acercadel estado, la situación y la evolución de la edu-cación a escala nacional o internacional, al igualque disponemos de modelos de acreditacióny evaluación de las instituciones de educaciónsuperior, que proporcionan una informaciónciertamente valiosa acerca de la evolución de estesector educativo considerado clave para el desa-rrollo económico y social.

Pero hay un procedimiento utilizado habitual-mente en la evaluación de los sistemas edu-cativos que merece especial atención en elcontexto de este monográfico. Se trata de laaplicación de pruebas estandarizadas paraestudiar el rendimiento de la educación. Aun-que no supone la introducción de un modelonuevo, puesto que cuenta con antecedentes demás de medio siglo de antigüedad, ha sido enlas dos últimas décadas cuando su utilizaciónse ha generalizado. Por una parte, han sidoinnumerables los países que han comenzadoa aplicar a sus estudiantes de manera sistemá-tica y periódica pruebas denominadas de resul-tados, de logros o diagnósticas, con caracterís-ticas parcialmente diferentes pero coincidentesen su finalidad última: estudiar de manera ri-gurosa el rendimiento conseguido por el sis-tema educativo a través de los resultados obte-nidos por los estudiantes. Por otra parte, en elplano internacional, los estudios pioneros dela International Association for the Evaluationof Educational Achievement (IEA) han adqui-rido regularidad y ampliado su grado de parti-cipación, realidad especialmente patente enlos proyectos denominados TIMSS y PIRLS1,mientras que, por su parte, la OCDE puso enmarcha a finales de los noventa el estudioPISA, cuya primera aplicación se realizó en elaño 2000. En consecuencia, tanto a escalanacional como internacional contamos conejemplos muy relevantes de esta práctica deevaluación.

Alejandro Tiana Ferrer

16 • Bordón 64 (2), 2012, 15-28

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 16

Page 3: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

Estudiar los resultados obtenidos por los estu-diantes y a partir de ellos el rendimiento logra-do por los sistemas educativos tiene un indu-dable interés, que en buena medida deriva dela convicción que existe en nuestras socieda-des de que las escuelas y el sistema educativoen su conjunto deben responder a las deman-das que los ciudadanos legítimamente les plan-tean. Son muchos quienes creen que los sis-temas y los establecimientos educativos hanfuncionado a la manera de una caja negra, cuyaopacidad impide conocer qué ocurre en suinterior. En el momento actual, dicha imagenresulta ampliamente insatisfactoria, siendonumerosas las voces que reclaman una mayortransparencia, en coherencia con los princi-pios políticos democráticos y las demandas deuna gestión participativa.

El interés de estudiar y conocer los resulta-dos obtenidos por los estudiantes deriva deesos planteamientos. Cuando nuestra nor-mativa establece que los estudiantes debenalcanzar una serie de objetivos en las di-ferentes etapas y niveles del sistema educati-vo, parece lógico preguntarse por su gradode logro. El conocimiento de la medida enque se alcanzan los objetivos educativos pro-puestos es una exigencia que, en democra-cia, pueden legítimamente plantear los ciu-dadanos y requiere respuesta. Además, dichoconocimiento es fundamental para hacer elmejor uso posible de los recursos disponiblesy para tomar las decisiones políticas y pedagó-gicas más adecuadas (Badía y Vieites, 2011).Tanto se ha extendido este planteamiento queha dado incluso lugar a nuevos modelos deintervención en el ámbito educativo, distintosde los modos tradicionales de control jerár-quico, como es el caso del denominado pilotajepor resultados (Tiana, 2003). En consecuen-cia, no debe extrañar el auge experimentadorecientemente por la aplicación de pruebasestandarizadas de resultados, dado que sonconsideradas uno de los instrumentos másadecuados para llevar a cabo la evaluación delrendimiento.

Pero no puede pensarse que el único interés deestos estudios de evaluación radique en elconocimiento riguroso de los resultados de laeducación, por importante que sea dicho pro-pósito. Desde que comenzaron a llevarse a caboeste tipo de trabajos, se ha venido insistiendoen la necesidad de explicar los resultados obte-nidos por los estudiantes, tarea así convertidaen objetivo insoslayable. Además de medir y com-parar dichos resultados, se trataría de expli-carlos de manera convincente. La explicaciónconstituye el reverso de la medición, aportandola información necesaria para orientar la acción.De ahí deriva su interés.

Dar respuesta a esta cuestión requiere identifi-car los factores más destacados que permitenexplicar las diferencias encontradas y analizarel modo en que interactúan. Pero afrontar esatarea obliga necesariamente a reconocer la difi-cultad que plantea la aplicación de procedi-mientos experimentales en el ámbito educativopara estudiar de manera fiable el impacto dedeterminadas intervenciones y a actuar en con-secuencia. Los investigadores y los evaluadoressuelen recurrir a otro tipo de métodos, muchasveces de carácter empírico, pero raramente decarácter estrictamente experimental. Por ejem-plo, ese es el planteamiento que llevó a los fun-dadores de la IEA a adoptar la propuesta deAlan Purves de considerar el mundo comoun laboratorio educativo (Purves, 1993; Tiana,2001). De acuerdo con esa concepción, los sis-temas educativos deben ser considerados comoconglomerados complejos, compuestos por unnúmero elevado de escuelas, clases, profesores,estudiantes y comunidades. Cada sistema com-parte rasgos comunes con otros, pero tambiénpresenta algunas características propias. Por lotanto, sería teóricamente posible comparar losresultados conseguidos por los estudiantes dedistintos sistemas educativos, controlando talesvariables diferenciales que inciden en el rendi-miento. Ese tipo de comparación permitiríaanalizar y valorar la influencia de dichos facto-res, contribuyendo a explicar sus efectos res-pectivos (Tiana, 2011).

Analizar el contexto para obtener el máximo beneficio de la evaluación

Bordón 64 (2), 2012, 15-28 • 17

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 17

Page 4: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

La lógica aplicada en el ámbito nacional no esexactamente idéntica a la expuesta, si bienguarda cierta analogía con ella. Se supone, a mijuicio acertadamente, que los resultados obte-nidos por los estudiantes están influidos pordiversos factores. Unos tienen que ver con lascondiciones individuales y familiares de par-tida, básicamente de carácter socieconómicoy cultural, mientras que otros guardan relacióncon los procesos de enseñanza y aprendizajedesarrollados en las aulas por estudiantes y do-centes, y algunos se refieren a las condicionesde organización y funcionamiento de los cen-tros. Todos estos factores interactúan entre sípara producir unos determinados resultados.

Analizar con rigor y detenimiento el efecto pro-ducido por dichos factores constituye unavaliosa guía para la acción educativa. Si fuése-mos capaces de saber con precisión cuál es elpapel que juegan las condiciones de partida,qué impacto tienen los diversos estilos docen-tes o el proceso seguido en el desarrollo delcurrículo, cómo afectan al rendimiento aspec-tos como el clima escolar o la composiciónsocial del centro, por no citar sino algunos delos más relevantes, podríamos contar conorientaciones de gran valor para planificar laactuación educativa y para adoptar políticas eneste ámbito. Como puede apreciarse, las pro-mesas resultan muy atractivas.

El principal problema que se nos plantea cuan-do nos adentramos en esta senda es que, frentea promesas tan halagüeñas, los frutos obtenidosson mucho menos cuantiosos. Si bien en otrosartículos de este monográfico se analizan condetenimiento algunas de las razones de dichodesequilibrio, no está de más recordar aquí que,hablando en términos rigurosos, existe la con-vicción generalizada de que no es sencillo ela-borar modelos causales del rendimiento, pesea los intentos que se han realizado en ese sentido(Álvaro et al., 1990). La ausencia de un modelosólido de producción educativa actúa como unaimportante limitación para llevar a cabo estetipo de análisis orientados a la explicación y la

interpretación. En consecuencia, si bien esta-mos ante un empeño relevante y de gran impor-tancia, debemos adoptar una actitud necesa-riamente modesta a la hora de abordar talesanálisis.

De qué hablamos cuando hablamosdel contexto

Entre los factores que inciden de manera máspatente en los resultados de los estudiantes,muchos investigadores han destacado los quetienen relación con el contexto individual ysocial de la educación. La investigación socio-lógica puso de relieve hace ya muchos años laimportancia que el origen y las condiciones so-ciales tienen en el rendimiento escolar. Dadoque la educación afecta a los estudiantes indivi-dualmente considerados, es necesario estudiaraspectos tales como sus estilos de aprendizaje,su conducta, sus actitudes o sus capacidadesen diversas áreas. Pero, dado que la educacióntambién consiste en una tarea de socialización,no se puede dejar de lado el estudio de las con-diciones socioeconómicas y culturales de losestudiantes, el contexto familiar y social en queestos se desenvuelven, las características de loscentros a los que asisten o el efecto que ejercesobre cada uno de ellos la comunidad educati-va en su conjunto.

Junto a este tipo de motivos, derivados de lainvestigación realizada acerca de la educación,hay que reconocer que la importancia concedi-da a los factores del contexto tiene también quever con las exigencias que plantea el respeto a lajusticia en el ámbito educativo. En efecto, siuna parte nada despreciable del rendimiento seexplica por factores no imputables a la librevoluntad de los estudiantes, ni tan siquiera a sudiferencia de capacidades, sino a las condicio-nes que impone su entorno, el respeto a la jus-ticia obligará a extremar el cuidado para com-pensar dichas desigualdades de origen y hacerefectivo el principio de igualdad de oportunida-des. En consecuencia, no debe extrañar que el

Alejandro Tiana Ferrer

18 • Bordón 64 (2), 2012, 15-28

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 18

Page 5: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

análisis de los factores relativos al contextohaya cobrado gran importancia a medida que seha extendido una creciente preocupación por laequidad en la educación (Hutmacher, Cochra-ne y Bottani, 2001).

Ahora bien, cuando hablamos de analizar elcontexto comprobamos que no siempre existeuna idea muy clara acerca de qué tipo de varia-bles deben quedar englobadas bajo dicha eti-queta. En consecuencia, conviene analizar conmayor detalle a qué tipo de factores nos esta-mos refiriendo.

En un interesante estudio emprendido hacealgunos años para construir un modelo causaldel rendimiento académico (Álvaro et al.,1990), en el contexto de la puesta en marcha dela evaluación del sistema educativo español, sedistinguían dos grandes tipos de variables con-textuales. Por una parte, estarían las variablessociofamiliares, que aluden a los factores quevienen dados al individuo «desde fuera», y porotra las variables escolares, que abordan el mar-co institucional, propiamente escolar, delaprendizaje. Desde este punto de vista, los fac-tores del contexto abarcarían tanto las condi-ciones individuales y sociales de partida comolas características del entorno escolar.

En mi opinión, esta clasificación no resultaplenamente satisfactoria, pues al hablar de lainfluencia del contexto conviene distinguir másclaramente entre dos tipos de factores: aquellosque le vienen dados al estudiante por parte desu entorno familiar y social y aquellos otros quederivan del entorno institucional en que recibela enseñanza. Hay muchas razones para adoptartal decisión, pero no es la menor el hecho deque el primer grupo corresponda a variablesdifícilmente alterables en cada caso individual,mientras que las que componen el segundopueden variarse de forma tan simple como tras-ladarse de centro. En consecuencia, no creoque el análisis del efecto producido por ambostipos de variables deba equipararse y consideroque valdría la pena distinguir ambas categorías

de un modo más claro y explícito que el plan-teado en esa propuesta.

Por otra parte, en un trabajo reciente que dedi-qué a analizar las posibilidades y las limitacio-nes que plantea la explicación de los resultadosproporcionados por los estudios internaciona-les de evaluación, proponía la diferenciaciónentre variables extrínsecas e intrínsecas (Tiana,2010). Mientras que las primeras se refierena factores que no están directamente ligados alfuncionamiento de los sistemas educativoso de los centros docentes, las segundas guar-dan relación directa con el funcionamiento deaquellos. Si bien es cierto que no llegaba a eti-quetar a ninguna de las dos categorías comocontextuales, debo decir que hoy considero quela distinción no era plenamente acertada niprecisa.

Con el propósito de construir una clasificaciónmás rigurosa y convincente, y teniendo encuenta los modelos habitualmente utilizadospara llevar a cabo el análisis de la produccióneducativa, creo que resulta más lógico distin-guir entre tres tipos de factores:

• Factores de contexto, que se refieren a lascondiciones sociales, económicas y cultu-rales de partida del estudiante y tienenque ver con su entorno familiar y social.Se englobarían aquí básicamente el nivelsocioeconómico y cultural de los estu-diantes individualmente considerados, lascaracterísticas de su entorno familiar, elhábitat en que se desenvuelven y la com-posición social del centro escolar al queasisten.

• Factores de entrada o input (o insumo),que se refieren a aquellas condiciones ge-nerales del sistema educativo o del con-junto de la población que inciden en latarea educativa, pero que ejercen una in-fluencia no circunscrita al centro docenteconcreto de que se trate. Se incluirían aquíel nivel de desarrollo educativo y culturalde la población, los recursos destinados

Analizar el contexto para obtener el máximo beneficio de la evaluación

Bordón 64 (2), 2012, 15-28 • 19

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 19

Page 6: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

a la educación y la organización generaldel sistema educativo.

• Factores de proceso, que se refieren a lascondiciones institucionales en que se de-senvuelve la tarea educativa. Se podríandistinguir en esta categoría los denomina-dos procesos de centro y de aula, vincula-dos respectivamente a la organización y elfuncionamiento del centro escolar y a lasprácticas de enseñanza y aprendizaje que sedesarrollan en el aula en presencia de estu-diantes y docentes. Ambos conjuntos deprocesos han sido objeto de atención cre-ciente por parte de los investigadores de laeducación (Marchesi y Martín, 1998).

Si bien puede haber quien prefiera adoptar unaconcepción más amplia del contexto y englo-bar en el mismo los mencionados factores deproceso, entiendo que resulta más claro y útildistinguir ambas categorías. Algo más difícilpuede resultar excluir del contexto algunos fac-tores de entrada como los apuntados, dado queen cierto modo también se refieren al entorno,aunque en este caso no sea principalmente in-dividual sino colectivo. En todo caso, por co-herencia con los argumentos expuestos, mecentraré en lo que sigue exclusivamente en losfactores incluidos en el primer grupo de los tresseñalados.

El análisis del contexto en los estudios de evaluación

A la hora de explicar los resultados obtenidosen los estudios de evaluación hay que comen-zar subrayando que el contexto es un referentemuy amplio, que incluye variables de muydiverso tipo. Pero aun siendo cierta esta obser-vación, debemos reconocer que no todas lasvariables que lo integran ejercen la mismainfluencia sobre los resultados. Mientras quealgunas de ellas producen un efecto apreciabley directo, otras solo influyen indirectamentey en pequeña medida. Las primeras son las querealmente nos interesan y la investigación

sociológica y pedagógica nos ha dado indica-ciones acerca de cuáles puedan ser.

A efectos de desarrollar este análisis he distin-guido cinco factores que me parecen especial-mente interesantes y explicativos, de acuerdocon la experiencia que hemos adquirido con laaplicación de estudios nacionales e internacio-nales de evaluación.

a) El origen social de los estudiantes

La necesidad de tener en cuenta el origen socialde los estudiantes ha sido tradicionalmentedestacada en la investigación educativa. Se tra-ta de una exigencia que deriva de dos hechoscomplementarios: la necesidad de considerarla existencia de clases o categorías sociales y elreconocimiento de que el origen social influyesobre los resultados educativos.

Como es sabido, la posición social de una per-sona viene condicionada por varios elementos,entre los cuales cabe destacar los siguientes:

• su ocupación, que hace referencia tanto a laposición profesional que ocupa como a susituación laboral concreta;

• su situación económica, que incluye suspropiedades, fuentes de renta y posibilida-des de acceso a diversos tipos de bienes;

• los estudios cursados.

El contexto social de un estudiante viene mar-cado por la posición social, profesional y econó-mica de sus padres y, eventualmente, de otrosfamiliares con quienes conviva. En consecuen-cia, la determinación del origen social de losestudiantes suele hacerse a través del estudio delas características sociales de sus respectivasfamilias. Son numerosos los estudios que hanpuesto de relieve la relación que posee el origensocial de los estudiantes con sus resultados edu-cativos. Si bien no se puede interpretar que exis-ta una correspondencia unívoca, la investiga-ción ha demostrado la presencia de una relación

Alejandro Tiana Ferrer

20 • Bordón 64 (2), 2012, 15-28

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 20

Page 7: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

manifiesta entre ambas variables. Es precisa-mente la existencia de dicha relación lo que ava-la la necesidad de considerar esa variable a lahora de interpretar los estudios de evaluación.

Esta consideración está en la base de la utiliza-ción de metodologías complejas como las aplica-das para determinar el valor añadido por los cen-tros a los resultados de los estudiantes (Thomas,1998). Aunque en la actualidad se utilizan dis-tintos modelos para calcularlo, todos ellos com-binan dos elementos fundamentales. El primeroconsiste en tomar en consideración la posicióny el origen social de los estudiantes, lo que per-mite comparar los resultados obtenidos con losque cabría esperar estadísticamente en funciónde las características del alumnado. Es el mode-lo que se utilizó en los años noventa para evaluarla eficacia de los liceos franceses (DEP, 1994). Elsegundo consiste en comparar el resultado obte-nido en dos momentos diferentes, lo que permi-te valorar el progreso realizado. Los resultadosmás interesantes derivados de la aplicación deestas técnicas se consiguen acercando la escalade análisis al tamaño del centro docente, aunquehay que tener en cuenta que este tipo de aproxi-mación no siempre resulta factible.

b) El medio sociocultural

El origen social hace referencia a una dimensiónmuy importante, pero muchos estudios e inves-tigaciones han subrayado que el nivel socioeco-nómico no llega a explicar por sí solo las diferen-cias de rendimiento encontradas y que se debetomar en consideración otro conjunto de indica-dores. Pueden citarse como ejemplo los trabajosde Basil Bernstein relativos a los códigos lingüís-ticos o los de Pierre Bourdieu y Jean-ClaudePasseron acerca del denominado capital cultural,que se adquiere a través de la escolarización yconstituye una de las claves de la reproducciónsocial.

Esta llamada de atención concuerda asimismocon un fenómeno muchas veces observado por

los sociólogos, que consiste en la importanciaconcedida por las familias de clase media ymedia-alta a la educación de sus hijos, comomedio de suplir la carencia de otro tipo de capi-tal que les asegure la reproducción social. Esaactitud determina la aparición de unas actitu-des más positivas hacia los bienes educativosque entre otros grupos sociales, lo que suelefavorecer la construcción de entornos cultura-les ricos, capaces de ofrecer estímulos numero-sos y variados. Ese conjunto de circunstanciasproduce habitualmente unas mayores expecta-tivas de continuación de estudios de los hijos,un mayor interés por su éxito académico y unamayor implicación en las tareas escolares, loque suele redundar en mejores resultados.

Ese fenómeno ha sido bien analizado en algu-nos estudios de evaluación de ámbito nacional.Así, por ejemplo, en la evaluación de la enton-ces nueva educación primaria que se llevó a ca-bo en España en 1995 se aprovechó la ocasiónpara construir dos índices complementariosy parcialmente coincidentes, a partir de algu-nas variables extrínsecas como las que aquí semencionan. El primero fue el índice socioeco-nómico, compuesto por variables relativas a laprofesión de los padres y la posesión familiarde bienes materiales. El segundo fue el índicesociocultural, compuesto por variables relativasa los estudios y la profesión de los padres, másotras referidas a las expectativas educativaspara los hijos y el acceso a algunos bienes cul-turales básicos (como libros, diccionarios u or-denador). Los análisis estadísticos realizadosdemostraron que la relación del segundo índicecon los resultados logrados por los alumnos eraclaramente mayor que la del primero, lo queavala la importancia que poseen y el carácterpredictivo que tienen las variables de tipo edu-cativo y cultural por encima de las estrictamen-te económicas (INCE, 1996). Dicho de otro mo-do, el grado de riqueza material de la familiaparece influir menos en los resultados académi-cos de los hijos que la riqueza del entorno edu-cativo y cultural, lo que además concuerda connuestra experiencia cotidiana.

Analizar el contexto para obtener el máximo beneficio de la evaluación

Bordón 64 (2), 2012, 15-28 • 21

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 21

Page 8: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

Para la aplicación de esas conclusiones, los cues-tionarios para las familias o los alumnos queacompañan a los recientes estudios españolesde evaluación, al igual que los del proyectoPISA, incluyen preguntas acerca de aspectostales como el número de libros disponibles enel hogar, la posesión de ordenador o dicciona-rios, el nivel educativo de los padres o las expec-tativas académicas hacia los hijos. La combina-ción de estas variables culturales con otras másclásicas como los bienes materiales en el hogaro la situación laboral de los progenitores elevaconsiderablemente el porcentaje explicado de lavarianza, por lo que su uso se ha convertido enuna práctica habitual.

Hoy en día es habitual combinar estos dos facto-res, relativos al medio socioeconómico y cultu-ral, dando así lugar a análisis de mayor comple-jidad. Es, por ejemplo, el tipo de aproximaciónque sigue el estudio PISA para calcular el ÍndiceSocio-Económico y Cultural (ISEC), que permi-te llevar a cabo interesantes análisis acerca de laequidad de la educación, ya que permite estimarla correlación que existe entre el origen y la posi-ción social de los estudiantes y sus resultadosescolares (OECD, 2001, 2004, 2007 y 2010).

c) El hábitat o medio de residencia

Descendiendo a un nivel más concreto, las per-sonas no solo están condicionadas por su ori-gen social y su medio sociocultural, sino tam-bién por factores más cercanos a su vidacotidiana, como el ambiente social en el queviven, donde desarrollan múltiples interaccio-nes. El lugar de residencia o el hábitat han sidoincluidos muchas veces entre las variables queinciden en el rendimiento educativo, aunqueen la práctica no resulta sencillo determinar suefecto. Es fácil entender que así suceda, pues ala hora de hablar de la influencia del hábitat sepuede distinguir entre algunas variables externas(localización de la residencia, tamaño de la po-blación) y otras internas (ambiente de relacio-nes, riqueza cultural, oportunidades de desarrollo

personal) y el análisis de estas últimas desem-boca enseguida en el estudio de las posicionessociales o del medio sociocultural, cuyo impac-to en el rendimiento es más claro.

Así pues, este factor del contexto resulta mássugerente a primera vista de lo que realmentesuele aportar al análisis de los resultados educati-vos. Su efecto es indirecto y matizado y, en con-secuencia, no debe extrañar que tienda a utilizar-se solamente cuando no resulta sencillo recurrira otras variables contextuales más determinantes.

d) La estructura y el clima familiar

Avanzando en el análisis, encontramos un con-junto de variables relativas a las característicasdel núcleo familiar. El estudio de la incidenciade dichas variables sobre el rendimiento educa-tivo ha llamado la atención de los investigado-res desde hace tiempo. Sin duda, el reconoci-miento de que la escolarización es un procesode socialización secundaria, que se desarrollade forma paralela a los procesos de socializa-ción primaria que tienen lugar en el ámbitofamiliar, ha contribuido a atraer la atenciónsobre la conexión que existe entre ambos.

La estructura familiar ha sido un primer factoranalizado, desglosándose en tres variablescomplementarias: el tamaño de la familia, queviene determinado por el número de ascen-dientes y descendientes que conviven en elhogar; el orden de nacimiento de los hijos y ellugar concreto que ocupa cada uno de ellos;y el intervalo de tiempo transcurrido entre losnacimientos de dos hijos consecutivos. Al igualque se mencionaba en el apartado anterior,tampoco han dado mucho fruto los estudiosque han intentado poner en relación estos ele-mentos con los resultados educativos. Los in-vestigadores han encontrado una mayor rela-ción con las consecuencias que la estructurafamiliar produce sobre los hijos, como las cir-cunstancias que disminuyen la interacción entrepadres e hijos, o que infantilizan el ambiente

Alejandro Tiana Ferrer

22 • Bordón 64 (2), 2012, 15-28

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 22

Page 9: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

doméstico. Estas constelaciones de variables,tomadas en conjunto, producen mayor efectoque la simple consideración de la estructurafamiliar. Como algunos investigadores hanpuesto de manifiesto, el «nivel intelectual abso-luto» de los miembros de una familia parececonstituir un factor influyente en los resulta-dos escolares (Zajonc y Markus, 1975), en rela-ción con variables tales como el tamaño fami-liar y el espaciamiento de los hijos.

Un segundo factor sobre el que se ha puesto elacento se refiere a la incidencia del ambienteo clima familiar sobre la educación de los hijos,lo que tiene que ver con la fluidez de relacio-nes, la vertebración de la vida familiar, la satis-facción con las relaciones existentes o el climaafectivo. Se trata de variables cuya incidenciaha sido repetidamente puesta de manifiesto porla psicología clínica, pero que no son fáciles deutilizar en estudios empíricos. Más sencillas deestudiar resultan otras variables, como las acti-tudes de los padres hacia la educación de sushijos o las expectativas generadas acerca de suéxito escolar. También se han tenido en cuentael grado de información de los padres acerca dela educación de sus hijos o la implicación ensus estudios. Aunque todas ellas son variablesque guardan relación con los resultados, suincidencia no es siempre fácil de determinar nisus efectos tienen una interpretación sencilla.

e) La composición social del centro

El contexto en que se desenvuelven los estudian-tes no está solamente constituido por el entornofamiliar, sino también por el escolar, lo que hallevado a tomar en consideración algunas varia-bles relativas al contexto del centro docente.Entre las variables relativas al contexto escolar,dejando al margen los procesos de aula y de cen-tro, con los que existen fronteras imprecisas, laque ha adquirido más relieve se refiere a su com-posición social. El análisis de la influencia delcontexto sociocultural en los resultados de un es-tudiante determinado no puede tener solamente

en cuenta su origen social y familiar. Hoy sabe-mos que la composición social del centro tam-bién afecta a su rendimiento. Por ese motivo, sedebe considerar lo que algunos autores handenominado el efecto composicional del centro,calculado generalmente a partir de variablesrelativas al origen social del conjunto de sualumnado. En los casos en que no puede cal-cularse directamente con exactitud suficiente,se suelen utilizar otras variables indirectas talescomo la ubicación del centro o el porcentaje deestudiantes becarios o que reciben algún tipo deayuda social (por ejemplo, en el Reino Unido,los que reciben comida gratuita).

Además de estas últimas aproximaciones, tam-bién se han utilizado alternativamente otrosdatos relativos al contexto social del centro cuan-do no ha resultado posible obtener informacióndirecta acerca del origen social del alumnado. Sibien la obtención de datos directos permite llevara cabo análisis estadísticos más completos y sofis-ticados, esta aproximación sustitutiva se ha utili-zado en ausencia de otra posibilidad.

Finalmente, hay que mencionar otra variablerelevante del contexto escolar, relativa a la titula-ridad (pública o privada) del centro. Se trata deuna circunstancia que admite interpretacionesdiferentes en los diversos sistemas educativos,pues tanto las dimensiones de ambos sectorescomo los tipos concretos de escuelas varían con-siderablemente de unos a otros. Por lo tanto, sibien se trata de una variable que reviste induda-ble interés, hay que tratarla con precaución a lahora de analizar los resultados ofrecidos por losestudios comparativos internacionales.

Utilizando los datos del contextopara explicar los resultados: dosejemplos y algunas reflexiones finales

Como se afirmaba más arriba, las variables decontexto realizan una contribución muy valio-sa a la hora de explicar los resultados obtenidosen los estudios de evaluación. El conocimiento

Analizar el contexto para obtener el máximo beneficio de la evaluación

Bordón 64 (2), 2012, 15-28 • 23

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 23

Page 10: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

y la valoración de los resultados de los estu-diantes se consideran hoy indispensables convistas a mejorar la calidad y el rendimiento dela educación, pero la contribución de dichosestudios a la construcción de políticas educati-vas será aún mayor en la medida en que seamoscapaces de identificar los factores que los deter-minan y explicar su influencia. Por ese motivo,los promotores de los estudios nacionales e in-ternacionales de evaluación realizan notablesesfuerzos para diseñar instrumentos que permi-tan recopilar información relevante acerca delcontexto de la educación y llevar a cabo análi-sis estadísticos que iluminen la relación queeste tiene con los resultados de los estudiantes.

Pero también se ha apuntado la discrepancia queexiste entre las promesas apuntadas por este tipode análisis y los frutos efectivamente recolecta-dos: mientras que aquellas suelen ser generosas,estos resultan ser más limitados. En consecuen-cia, merece la pena detenerse en algunos ejem-plos concretos de análisis de los resultados a par-tir de datos del contexto, para ver cómo se llevana cabo en la práctica esos intentos de explicación.

Para abordar ese asunto se han seleccionado dosejemplos de especial interés en el momentoactual y en nuestro entorno educativo y cultural.El primero consiste en el uso que hace el estudioPISA de la información de contexto con el fin devalorar el grado de equidad de los sistemas edu-cativos. El segundo consiste en la determinaciónde algunos factores que inciden en los aprendiza-jes de los estudiantes, llevada a cabo en el Segun-do Estudio Regional Comparativo y Explicativo(SERCE) promovido por el Laboratorio Latinoa-mericano de Evaluación de la Calidad de la Edu-cación (LLECE). Aunque dichos análisis seannecesariamente sintéticos, espero que contribu-yan a clarificar las ideas expuestas.

a) El análisis de la equidad en PISA

Una de las contribuciones más interesantes queha realizado el estudio PISA tiene que ver con

el análisis de la equidad de los sistemas educa-tivos. Como es bien sabido, PISA es un estudioque mide los resultados obtenidos por los jóve-nes de 15 años de edad, independientementedel curso en que se encuentren, en tres habili-dades (skills) o competencias claves: compren-sión lectora, competencia científica y compe-tencia matemática. Las conocidas tablas querecogen los resultados comparativos entre paí-ses, bien se trate de datos brutos o escalas delogro, tienen una enorme difusión y son refe-rencia habitual en los medios de comunicacióny en el discurso pedagógico. Pero PISA ha rea-lizado otra contribución muy valiosa, no siem-pre suficientemente resaltada, que se refiere alestudio del grado de equidad de los resultadosque consiguen los sistemas educativos (OECD,2001, 2004, 2007 y 2010).

El análisis de la equidad se lleva a cabo pormedio de diferentes aproximaciones. La mássencilla consiste en el estudio de la distribucióny dispersión de las puntuaciones obtenidas porlos estudiantes. Se trata de un procedimientobastante elemental, que permite apreciar el gra-do de concentración de los resultados en tornoa algún punto de la escala. Es cierto que así sepuede realizar una primera estimación de laequidad, pero todavía de forma muy trivial,puesto que podría interpretarse como equidadlo que no es sino una simple concentración depuntuaciones.

Un segundo procedimiento, mucho más refina-do y de mayor interés, consiste en estudiar larelación existente entre las condiciones socioe-conómicas y culturales de los estudiantes eva-luados y los resultados que obtienen en laspruebas. Se trata de un análisis mucho más finoy significativo, pues apunta a la relación queexiste entre la categoría socioeconómica y cul-tural y los resultados educativos. Como se indi-caba más arriba, con el fin de emprender dichoestudio PISA ha construido un Índice Socio-Eco-nómico y Cultural (ISEC), que se calcula a par-tir de los datos aportados por los propios estu-diantes. El procedimiento es preciso y fiable,

Alejandro Tiana Ferrer

24 • Bordón 64 (2), 2012, 15-28

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 24

Page 11: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

puesto que no se basa en estimaciones sino endatos individuales.

Aplicando ese procedimiento, PISA ha compro-bado nuevamente el hecho bien conocido de queel rendimiento educativo de los jóvenes está rela-cionado de manera muy directa con el estatussocioeconómico y cultural de sus familias. Peroademás de constatar la existencia de tal relación,ha aportado un análisis detallado acerca de laintensidad de la misma. Para ello ha recurrido alcálculo de un gradiente que permite visualizar eltipo concreto de relación que se establece entreel ISEC y las puntuaciones de los estudiantes. Sinentrar en grandes detalles, que están por otra par-te perfectamente descritos en las publicacionesresultantes de las sucesivas aplicaciones de PISA,cuanto más horizontal aparezca dibujada la línearesultante, más equidad se podrá atribuir al co-rrespondiente sistema educativo.

El estudio que PISA realiza de la equidad de-muestra a la perfección la riqueza y el interés delanálisis de los resultados que puede realizarseutilizando algunas variables contextuales, eneste caso las relativas al entorno socioeconómicoy cultural de los estudiantes. Las conclusionesextraídas van bastante más allá de la medicióndel grado de adquisición de las tres competen-cias mencionadas y la identificación de sus prin-cipales puntos débiles. Por una parte, el análisispone en conexión los resultados obtenidos porcada país con las condiciones socioeconómicasy culturales de su población, permitiendo asíuna comparación internacional más justa. Porotra parte, ofrece la posibilidad de diseñar polí-ticas educativas que combinen la dimensión dela calidad con la de equidad, teniendo en cuen-ta que las dos se consideran hoy indisociables.

b) El análisis de los factores contextuales enSERCE

Un segundo ejemplo de utilización de datos decontexto para explicar los resultados de la eva-luación se encuentra en el Segundo Estudio

Regional Comparativo y Explicativo (SERCE),promovido por el Laboratorio Latinoamericanode Evaluación de la Calidad de la Educación(LLECE) en el seno de la Oficina Regional deEducación para América Latina y el Caribe(UNESCO-OREALC). En este caso estamosante un tipo de estudio más habitual, que no sediferencia excesivamente de otras iniciativassimilares, tanto nacionales como internaciona-les (UNESCO-OREALC, 2008).

El modelo aplicado para diseñar el estudio y ana-lizar posteriormente sus resultados es el CIPP(contexto-insumo-proceso-producto), que asu-me entre otras cosas que el aprendizaje está me-diado por el contexto socioeconómico y cultu-ral de los estudiantes y por la ubicación de loscentros educativos. De acuerdo con ese supues-to de partida, la evaluación incluyó unos cues-tionarios adicionales de contexto, con la inten-ción de reunir, entre otros, datos acerca delcontexto socioeconómico y cultural de los estu-diantes. La información recibida permitió llevara cabo diversos análisis acerca de los factores aso-ciados al rendimiento que inciden en el apren-dizaje de los estudiantes, que fueron poste-riormente publicados y difundidos (UNESCO-OREALC, 2010).

Entre las conclusiones alcanzadas, los autoresdel estudio señalan que el contexto educativodel hogar (caracterizado por la educación reci-bida por los padres y las prácticas desarrolladasen el hogar para facilitar la escolarización de loshijos) es una variable significativa en el 84% delos países participantes. A su vez, el contextoeducativo del hogar promediado por escuelaresulta ser la variable más consistente en rela-ción con el aprendizaje. Se trata de resultadosque son coherentes con los obtenidos por lainvestigación socioeducativa tradicional. Entrelas variables que el estudio asocia negativamen-te con el aprendizaje destacan el trabajo infan-til (que afecta a un 9% de los estudiantes lati-noamericanos evaluados) y la pertenencia a ungrupo indígena (ampliamente asociada a unadesventaja social que se manifiesta en diversos

Analizar el contexto para obtener el máximo beneficio de la evaluación

Bordón 64 (2), 2012, 15-28 • 25

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 25

Page 12: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

Notas

1 Se puede encontrar una información más amplia acerca de la IEA y los estudios que desarrolla en su página web(www.iea.nl).

Referencias bibliográficas

ÁLVARO, M. et al. (1990). Hacia un modelo causal del rendimiento académico. Madrid: Ministerio de Educación y Cien-

cia – Centro de Investigación, Documentación y Evaluación.

BADÍA, P. y VIEITES, M. (coords.) (2011). Evaluación, resultados escolares y sistemas educativos. Análisis y alternativas.

Las Rozas: Wolters Kluwer.

DEP (1994): Trois indicateurs de performance des lycées, Baccalauréat 1993, Résultats lycée par lycée. Paris: Ministère

de l’Education nationale – Direction de l’Evaluation et de la Prospective (2 tomos).

HOUSE, E. R. (1993). Professional Evaluation. Social Impact and Political Consequences. Newbury Park, London & New

Delhi: SAGE.

ámbitos). El análisis realizado permite concluirque los resultados medios de las escuelas estánclaramente relacionados con el índice socioeco-nómico y cultural promedio de las mismas, sibien hay que destacar que algunas de ellas con-siguen resultados superiores o inferiores a losque cabría esperar teniendo simplemente encuenta la posición social de su alumnado.

Si bien el estudio SERCE se ha esforzado nota-blemente por identificar los factores que in-ciden en los aprendizajes de los estudiantesy por cuantificar su efecto, lo cierto es que lasaportaciones que ha conseguido realizar novan mucho más allá de las conclusiones deotros estudios similares nacionales o interna-cionales. En todos ellos es una práctica habi-tual incluir cuestionarios de contexto familiar,así como otros cuestionarios dirigidos al pro-fesorado o a los equipos directivos de los cen-tros participantes. Pero, si bien la explicaciónde los resultados en función del contextosocioeconómico y cultural resulta convincen-te, las conclusiones que aportan en otros órde-nes no suelen resultar tan determinantes.Estamos ante un tipo de estudios que no lle-gan a proporcionar orientaciones rigurosas

para la construcción de políticas educativas,debido a diversas razones, algunas de las cua-les son presentadas en otros trabajos de estemonográfico.

Estos dos ejemplos ponen de manifiesto queexisten instrumentos, técnicas y métodos ade-cuados para llevar a cabo análisis fructíferos dela incidencia del contexto sobre los resultadoslogrados por los estudiantes. El estudio de laequidad a partir de los datos de PISA demues-tra que la formulación precisa de una preguntabien planteada y suficientemente específica,junto con una correcta selección, recogida ytratamiento de los datos necesarios, permiteobtener respuestas convincentes y así orientarla acción y la construcción de políticas. Perotambién demuestra que hoy por hoy no resul-ta razonable esperar conclusiones incontesta-bles de la mayor parte de los estudios de eva-luación que realizamos. La impresión quequeda al final es que tenemos más dudas quecertezas. Es indudable que encontramos expli-caciones a los resultados logrados por los estu-diantes, pero sin poder llegar a explicar convin-centemente y con rigor el rendimiento de laeducación.

Alejandro Tiana Ferrer

26 • Bordón 64 (2), 2012, 15-28

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 26

Page 13: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

HUTMACHER, W., COCHRANE, D. y BOTTANI, N. (eds.) (2001). In Pursuit of Equity in Education. Using International Indi-

cators to Compare Equity Policies. Dordrecht, Boston & London: Kluwer Academic Publishers.

INCE (1996). Evaluación de la Educación Primaria. Informe preliminar. Madrid: Instituto Nacional de Calidad y Eva-

luación (documento policopiado).

MARCHESI, A. y MARTÍN, E. (1998). Calidad de la enseñanza en tiempos de cambio. Madrid: Alianza Editorial.

OECD (2001). Knowledge and Skills for Life. First Results from PISA 2000. Paris: OECD.

OECD (2004). Learning for Tomorrow’s World. First results from PISA 2003. Paris: OECD.

OECD (2007). PISA 2006. Science Competencies for Tomorrow’s World. (2 vols.). Paris: OECD.

OECD (2010). PISA 2009 Results: Overcoming Social Background – Equity in Learning Opportunities and Outcomes (vol.

II). Paris: OECD.

PURVES, A. (1993). The World as an Educational Laboratory. En HAYES, W. A. (ed.), IEA Activities, Institutions and Peo-

ple. IEA Guidebook 1993-1994. The Hague: IEA, 57-64.

THOMAS, S. (1998). Medir el valor añadido de la eficacia de las escuelas en el Reino Unido. Perspectivas, 28 (1),101-

122.

TIANA, A. (1996): La evaluación de los sistemas educativos. Revista Iberoamericana de Educación, 10, 37-61.

TIANA, A. (2001). Le monde comme laboratoire éducatif. Politiques d’éducation et de formation. Analyses et comparai-

sons internationales, 2001/3, 47-57.

TIANA, A. (2003). Pilotage par les résultats et amélioration de l’éducation: deux réalités indissociables?. Administra-

tion et Éducation, 98, 19-29.

TIANA, A. (2010). En búsqueda de la explicación de los resultados educativos: posibilidades y limitaciones de los estu-

dios internacionales de evaluación. Gestión y Análisis de Políticas Públicas, 3, 35-65.

TIANA, A. (2011). Experiencing the World as an Educational Laboratory. En PAPANASTASIOU, C., PLOMP, T. y PAPANAS-

TASIOU, E. C. (eds.). IEA 1958-2008: 50 years of experiences and memories. Nicosia: Cultural Center of the Kykkos

Monastery, 2, 557-575.

UNESCO-OREALC. (2008). Los aprendizajes de los estudiantes de América Latina y el Caribe. Primer reporte de los

resultados del Segundo Estudio Regional Comparativo y Explicativo (SERCE). Santiago: Oficina Regional de Educa-

ción para América Latina y el Caribe de la UNESCO, Laboratorio Latinoamericano de Evaluación de la Calidad

de la Educación.

UNESCO-OREALC. (2010). Factores asociados al logro cognitivo de los estudiantes en América Latina y el Caribe. San-

tiago: Oficina Regional de Educación para América Latina y el Caribe de la UNESCO, Laboratorio Latinoameri-

cano de Evaluación de la Calidad de la Educación.

ZAJONC, R. B. y MARKUS, G. (1975). Birth order and intelectual development. Psychological Review, 82, 74-88.

Abstract

Analyzing context so as to optimize the benefits of assessment

Education and training has become an outstanding object of evaluation in the last two decades.A number of national and international initiatives have been developed with this aim. In thiscontext, large-scale studies oriented to assess achievement by measuring students’ outcomes shouldbe underlined. Improvement of education implies moving forward from just measuring student’slearning to explaining outcomes, which implies the need to identify the main factors related toresults. This paper deals with the analysis of contextual factors, starting by underlining howimportant is taking them into account. Contextual factors are then differentiated from input andprocess ones and their main variables are identified. Finally, some examples are presented anddiscussed of analyses establishing relationships between contextual factors and students’ outcomes.

Analizar el contexto para obtener el máximo beneficio de la evaluación

Bordón 64 (2), 2012, 15-28 • 27

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 27

Page 14: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

Reflections carried out in this work are based on input from international studies, such as thosedeveloped by the IEA (TIMSS, PIRLS…), the OECD (PISA project), or the Laboratory LatinAmerican of evaluation of the education quality (LLECE), in its second study Regional comparativeand explanatory (SERCE), among others.

Key words: Achievement assessment, Education system evaluation, Context analysis, Large-scaleevaluation studies, Educational outcomes’ explanation.

Résumé

Analyser le contexte pour obtenir un maximum profit de l’évaluation

L’éducation et la formation sont devenues un important facteur d’évaluation au cours des deuxdernières décennies, quand un grand nombre d’initiatives nationales et internationales ce sontdéveloppées à cet effet. Parmi ces initiatives se trouvent les études orientées vers l’évaluation de laperformance des systèmes éducatifs à travers des résultats obtenus par les étudiants. L’amélioration del’éducation pose la question de la nécessité non seulement de mesurer ces résultats, mais de lesexpliquer correctement. En plus, mener à bien une telle explication implique identifier les principauxfacteurs qui sont liés aux résultats. Ce travail confronte l’analyse des facteurs relatifs au contexte. Ilcommence par souligner l’importance de les prendre en compte. Ensuite, les facteurs contextuelsd’entrée sont différentiés de ceux de procès et leurs principales variables sont identifiées.Finalement, nous présentons et discutons quelques exemples d’analyses effectuées en reliant lesfacteurs contextuels avec les résultats des étudiants.

Les réflexions que nous faisons dans cet article se basent sur les contributions de différentes étudesinternationales, telles que ceux développées par l’IEA (TIMSS, PIRLS…), l’OCDE (PISA), ou leLaboratoire Latino-américain d’Évaluation de la Qualité de l’Éducation (LLECE), dans sonDeuxième Étude Régionale Comparative et Explicative (SERCE), entre autres.

Mots clés: Évaluation de la performance, Évaluations des systèmes éducatifs, Analyse du contexte, Etudesd’évaluation à grande échelle, Explication des résultats de l’éducation.

Perfil profesional del autor

Alejandro Tiana Ferrer

Catedrático de Teoría e Historia de la Educación en la Universidad Nacional de Educación a Dis-tancia (UNED) y director del Centro de Altos Estudios Universitarios de la Organización de Esta-dos Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI). Entre los años 2004 y 2008desempeñó el cargo de secretario general de Educación en el Ministerio de Educación y Ciencia deEspaña.Correo electrónico: [email protected]

Alejandro Tiana Ferrer

28 • Bordón 64 (2), 2012, 15-28

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 28

Page 15: Analizarel contextoparaobtenerelmaximobeneficiodela 3960091 (1)

Introducción

La Asociación Internacional para la Evaluacióndel Rendimiento Educativo (IEA) ha organizadoy desarrollado estudios internacionales compa-rativos desde hace más de 50 años. La IEA reci-bió fondos inicialmente de la UNESCO a fin definanciar estudios internacionales comparati-vos y a su vez los países participantes en estosestudios contribuyeron cubriendo parte de loscostos nacionales, así como costos de la coordi-nación internacional.

Durante la trayectoria de existencia de la IEA,han sido muchos los estudios que ha realizadoy estos han generado un tesoro de informaciónen el campo de la educación internacional com-parada. Estos estudios internacionales son bienconocidos por proporcionar resultados del ren-dimiento de las naciones participantes en lasáreas escolares de las matemáticas, ciencias, lec-tura, conocimientos cívicos, etc. El tipo de infor-mación proporcionada incluye, pero no se limi-ta, al ordenamiento de las naciones en base a susresultados en la prueba académica. Desplegar un

CUESTIONARIOS DE CONTEXTO EN LOS ESTUDIOSDE LA IEABackground questionnaires in IEA studies

EUGENIO J. GONZÁLEZ NAGELAsesor estratégico de la IEA

Durante los últimos 50 años la Asociación Internacional para la Evaluación del Rendimiento Edu-cativo (IEA, por sus siglas en holandés) ha diseñado y llevado a cabo estudios comparativos eneducación. El objetivo de estos estudios es recoger información que permita identificar elemen-tos clave de calidad en la educación, a través de la comparación de los sistemas educativos dediversos países. Estos estudios se han realizado en las áreas de matemáticas, ciencias, lectura yeducación cívica y ciudadanía, entre otras. Algunos de estos estudios (matemáticas, ciencias, lec-tura) se han realizado de forma periódica, de modo que permiten analizar tendencias en la evo-lución de los sistemas educativos de los países. Cada uno de estos estudios ha consistido en unaprueba que mide el rendimiento académico en el área de interés. De igual forma que se ha reali-zado en otros proyectos de evaluación de sistemas educativos, en los estudios de la IEA estaspruebas han ido acompañadas de cuestionarios de contexto que son aplicados a los alumnos, susmaestros, los directores de las escuelas en las que estudian y, en algunos casos, sus padres. Esteartículo presenta una descripción breve de estos cuestionarios de contexto, su propósito, susposibles usos y algunas advertencias que hay que tener en cuenta en el momento de utilizar lainformación recabada con estos cuestionarios.

Palabras clave: TIMSS, PIRLS, ICCS, IEA, Cuestionarios de contexto.

Bordón 64 (2), 2012, 29-39, ISSN: 0210-5934 • 29Fecha de recepción: 30-1-2012 • Fecha de aceptación: 19-3-2012

17149 Bordón 64-2 (F).qxd 19/6/12 13:04 Página 29