Escribir es re-escribir. Un análisisde contenidos de los informes

realizados a los artículos nopublicados en Infancia y

AprendizajeEMILIO SÁNCHEZ*, JESÚS NICASIO GARCÍA** Y PABLO DEL RÍO*

*Universidad de Salamanca;**Universidad de León

ResumenEn este artículo nos hemos propuesto analizar las razones que motivan la no aceptación de los artículos

enviados a la revista y, al mismo tiempo, la labor que, al respecto, llevan a cabo los revisores. Para ello hemoscreado un sistema de análisis capaz de desentrañar todos los contenidos de los informes de evaluación que aludena cuatro tareasdiferentesque hemos identificadoen la labor de los revisores: evaluar,apoyar, sugerir y clarificar.Con ese sistema se han analizado 50 informes de evaluación que corresponden a los 25 primeros artículos quefueron no aceptados para publicación en el presente periodo de la revista. Respecto del análisis de las objeciones,presentamos las frecuenciasde 95 objeciones diferentes organizadas en 24 categorías y en 6 apartados.Y respectodel análisis de la labor de los revisores, se presenta un análisis de los recursos retóricos empleados, los diferentesestilos que hemos identificado y un análisis de las tareas no evaluativas que también están presentes en losinformes. Entendemos que este análisis puede propiciar una doble toma de concienciaque motive una reflexión enla comunidad académica sobre el proceso de evaluación en sí y sobre el modo de acometerlo.Palabras clave: Artículos no aceptados, tareas, recursos retóricos y estilos de los revisores.

Writing as rewriting: A content analysis ofpeer reviews of non-accepted paperssubmitted to Infancia y Aprendizaje

AbstractThe paper analyses the reasons that motivate the non-acceptance of articles sent to the journal and, in this

respect, also the work carried out by referees. To do so, we have designed a system of analysis capable ofexplaining the content of peer reviews. We have thus identified four different tasks in the work of referees: Toassess, support, suggest, and clarify. 50 reports have been analysed using this system, corresponding to the first25 papers rejected for publication in the journal’s current period. First, we analysed the reasons for notaccepting articles: the frequencies of 95 different objections, organised into 24 categories, and grouped under 6headings are provided. Second, we analyse the rhetoric resources employed by referees, and describe the differentstyles identified. Finally, we analyse non evaluative tasks also present in peer reviews. We feel that thisanalysis could favour a double awareness in the academic community, promoting a reflection on: 1) theassessment process itself, and 2) the way it is undertaken.Keywords: Non-accepted papers, referees’ tasks, rhetoric resources, referees’ evaluation style.

Agradecimientos: Agradecemos los comentarios críticos y sugerencias diversas que nos ofrecieron los tres revisoresde este artículo y también los efectuados por nuestros colegas Javier Rosales, Ricardo García y Gerardo Prieto.

Correspondencia con los autores: Emilio Sánchez. Facultad de Psicología. Departamento de Psicología Evolutiva y dela Educación. Avda. de la Merced, 109-131; 37005-Salamanca. e-mail: esanchez@gugu.usal.es. Jesús NicasioGarcía. Facultadde Educación. Departamento de Filosofía y Ciencias de la Educación. Campus de Vegazana, s/n.24071-León. e-mail: dfcjgs@unileon.es. Pablo del Río. Facultad de Ciencias Sociales. Departamento deComunicación Audiovisual. Campus Unamuno, s/n. 37071-Salamanca. e-mail: prio@gugu.usal.es

Original Recibido: Septiembre, 2001. Aceptado: Noviembre, 2001.

© 2002by Fundación Infanciay Aprendizaje, ISSN: 0210-3702 Infancia y Aprendizaje, 2002, 25 (1), 5-35

A lo largo de los últimos años venimos apreciando un notable incremento deoriginales que llegan a la revista (superan los sesenta cada año) que, como ocurreen todas las revistas con criterios de calidad homologados, son sometidos a unexigente proceso de revisión a cargo de dos expertos seleccionados por uno de loseditores asociados de la revista. El hecho que motiva estas páginas es que unabuena parte de esos trabajos no son aceptados para publicación (véanse las cifrasque se ofrecen en la editorial de este mismo número), y el resto sufre en el trans-curso del proceso una considerable transformación. De hecho ni uno sólo —en elperíodo que hemos analizado— ha llegado a publicarse sin introducir algún tipode cambio en la versión inicial. De ahí que, como reza el título de este trabajo,escribir sea en realidad un proceso de revisión, crítica, optimización y mejoraprogresivas; un proceso, en suma, de reescritura.

El sentido de este artículo es hacer público lo que suele quedar en la trastien-da de este complejo proceso. Esto es, tanto las razones que motivan la no acepta-ción como el tipo de labor que llevan a cabo los revisores. La toma de concienciasobre esa doble actividad —de autoría y de revisión— que aquí intentamos pro-piciar puede ser a nuestro modo de ver positiva, aunque conlleva, también, algu-nos riesgos.

Por lo que a los beneficios se refiere, merece la pena reseñar, en primer lugar,el más obvio de todos: el que se deriva de ofrecer de forma ordenada las razonesque motivan la no aceptación o el cuestionamiento de los trabajos. Es bien ciertoque contamos con el precedente de las normas APA (1994) y de las normas espe-cíficas que la propia revista ofrece a los autores. No obstante, y sin negar el valorde esas fuentes, cabe la posibilidad de que resulten poco operativas para los auto-res, especialmente en el caso de aquéllos que cuenten con poca experiencia, puestales normas pueden ofrecer a los interesados un “ideal” demasiado abstracto ylejano.

Abstracto, en el sentido de que constituyen recomendaciones (especialmentelas que ofrece la revista) que quizás no proporcionen claves suficientementepoderosas y precisas para los procesos de elaboración y revisión de los trabajos.

Lejano, en el sentido de que pueden reclamar competencias excesivas para lasposibilidades inmediatas de algunos autores o autores noveles. En ese sentido, elproceso de evaluación puede y, a nuestro juicio, debe, tener un valor formativo,que ayude a extender a toda la comunidad académica criterios de calidad cadavez más elevados.

En segundo lugar, creemos que el análisis de la actividad de los revisores nospermitirá ofrecer una descripción que motive una toma de conciencia colectiva en laque cada cual pueda objetivar sus preferencias y, al hacerlo, explorar la posibili-dad de enriquecer su modo de obrar. ¿Qué tareas se acometen en la revisión?¿Qué marcos de referencia se emplean? ¿Cuáles son los estilos más comunes de revi-sión? ¿Qué recursos específicos pueden facilitar la comunicación con los autores?Estas son algunas de las preguntas que intentaremos contestar en lo que sigue.

En tercer lugar, podríamos ayudar a extender una convicción muy importan-te: que necesitamos evaluación externa y que la necesitamos todos. Ahora bien, y auncuando escribir es, como ya se ha comentado, reescribir (un proceso recursivo yprogresivo de mejora —Elbow, 1988; 2000; Kellogg, 1994; Sorenson, 1997—, de toma de conciencia y de re-pensamiento —Wong, 1999; Wray, 1998—)no hay razón para que esa labor, de por sí exigente, sea más incómoda de lonecesario. En una palabra, el rigor con el que hay que emprender el proceso deevaluación no está reñido con el reconocimiento del otro (del autor), y de esadualidad de funciones (control y reconocimiento) habremos también de hablaren estas páginas.

6

Debemos, finalmente, resaltar que somos conscientes de alguno de losriesgos del trabajo que aquí presentamos. El más notorio es que el hecho dedescribir un comportamiento (el de los autores y revisores en este caso) sueleinterpretarse como una prescripción del mismo. Intentaremos, para evitarlo,emprender dos acciones diferentes. Por un lado, reiterar a lo largo de suspáginas que ésta no es nuestra intención (aunque seguramente el riesgo nopodrá ser conjurado por esas insistentes advertencias). Por otro, indicar conclaridad cuando, a la luz de los datos recogidos, cabe ofrecer una sugerenciaconcreta; algo que haremos en contadas ocasiones. Quisiéramos, en todocaso, subrayar que las descripciones que nos proponemos realizar debentomarse como espejos desde los que reflexionar, y no como un conjunto denormas que hubiera que adoptar (salvo en los casos en los que nos pronuncia-mos expresamente a favor de alguna medida concreta y que son recogidos enel decálogo que ofrecemos en la discusión). Un segundo riesgo del quesomos igualmente conscientes es que los autores interpreten de un modomuy lineal y tajante las razones de la no aceptación que iremos identifican-do. Sobrará advertir que la no aceptación se produce por una acumulación deobjeciones (¡la media por revisión es de casi 16!), pero es que, además,muchas de ellas, tomadas en sí mismas, podrían no serlo si no tuviéramos encuenta el resto del trabajo. Dado que esta información complementariasobre cada uno de los trabajos no puede trasladarse a estas páginas, hemos deaceptar que muy probablemente se malinterpreten algunas de las evidenciasreunidas, al menos si se toman una por una. Confiamos, no obstante, en queestos riesgos se vean compensados por los beneficios a los que tambiénhemos aludido.

En definitiva, en lo que sigue ofreceremos dos análisis diferentes. El primero,centrado en los motivos que conducen a la no aceptación de los artículos; elsegundo, respecto del modo empleado por los revisores para llevar a cabo la tareade evaluación encomendada. En los dos ámbitos, intentaremos ofrecer ejemplosilustrativos de las cuestiones más relevantes. Antes, dedicaremos un apartado aclarificar la metodología que se ha utilizado.

METODOLOGÍA

Para alcanzar estos objetivos, hemos empleado el Análisis de Contenidos(AC), un método procedente de campos tan lejanos como la arqueología (Gar-din, 1980) y la comunicación de masas (Bardin, 1977; Wimmer y Dominick,1994). El AC permite levantar un inventario de repertorios culturales y comuni-cativos, estableciendo, en primer lugar, taxonomías y tipicidades, desde las queproceder a la identificación de concurrencias, covariaciones y pautas estructuralescon las que categorizar los fenómenos, calcular factores, e inferir procesos y siste-mas de causalidad.

El AC combina habitualmente los acercamientos etic (categorías del investi-gador) y emic (categorías presentes en el corpus cultural). Es más frecuente basar-se en las primeras en la tradición sociológica de los análisis (Krippendorf, 1990;López-Aranguren, 1994) y más en las segundas en las tradiciones etnográficas ysemiológicas. Aquí adoptamos una perspectiva integradora (del Río, 1996), rea-lizando primero un pre-análisis emic, (de abajo a arriba, guiado por el corpuscultural) y también en la etapa del pre-análisis una construcción teórica de cate-gorías etic. La combinación de ambas se aplica sobre el corpus completo de casosen el análisis propiamente dicho.

7

Muestra de informes de revisión de artículos

Para poder identificar las regularidades que presentan tanto el modo de traba-jar de los revisores como las objeciones por ellos formuladas, hemos tomadocomo base los primeros 25 informes negativos efectuados durante este periodo,lo que supone, dado que cada artículo es evaluado por dos revisores anónimos, elanálisis de 50 revisiones diferentes. Un número, a nuestro modo de ver, acepta-ble y, en todo caso, sumamente representativo del periodo actual.

De manera más concreta, hemos analizado toda la documentación relativa alos trabajos que han sido considerados como no publicables , lo que incluye doscategorías: los trabajos no aceptados para publicación en su versión actual y losque son rechazados sin dar la posibilidad de una nueva versión.

Los revisores son 50 expertos en los temas respectivos, y son autores de publi-caciones, por lo que poseen la experiencia de la autoría, aunque su grado de expe-riencia en tareas de evaluación de artículos es variable.

Procedimiento del análisis de contenido y categorías

El análisis se ha realizado en dos fases que corresponden a los dos objetivos delartículo. En la primera examinamos las causas que justifican la no aceptación. Yen la segunda, los contenidos de los informes que nos permiten analizar la laborde los revisores.

Codificación de las causas de “no aceptación” (tarea evaluadora)

Etapa 1. Pre-análisis1. En primer lugar, se realizó un pre-análisis para establecer las categorías del

análisis propiamente dicho, para ello se descompuso una parte de los casos (8 delas 50 revisiones) en proposiciones; la mayor parte de ellas (véase más adelante)expresaban, como cabía esperar, objeciones al trabajo. El resto de los contenidos,esto es, los que no contienen objeciones, fueron igualmente analizados pero hanservido, como hemos venido insistiendo, para el segundo de nuestros objetivos:caracterizar el trabajo de los revisores (véase su tratamiento en el apartado reservadoal respecto).

2. En segundo lugar, se agruparon aquellas proposiciones-objeciones que teníanun significado equivalente, creando para cada agrupación de proposiciones-obje-ciones una formulación más inclusiva a la que denominamos indicadores. Esosindicadores se crearon por consenso entre los tres autores.

Etapa 2. Análisis3. En tercer lugar, y una vez establecidos esos indicadores, se analizaron los

demás informes de evaluación. En los casos en los que aparecían objecionesque no encajaban en los indicadores primitivos, se añadían literalmente alsistema. Estas “nuevas” proposiciones-objeciones fueron ulteriormentereconvertidas en indicadores siguiendo lo establecido en el punto anterior,esto es, por consenso. El número total de indicadores encontrados ha sido de95 (cfr., Figura 1).

4. Los indicadores se agruparon en apartados que responden a la lógica de ela-boración de los trabajos: introducción, metodología, resultados, y conclusiones.A estos cuatro apartados se añadieron otros dos. Uno en el que agrupamos todos

8

los indicadores que cuestionan globalmente el trabajo y otro reservado a cuestio-nes formales.

5. Finalmente, se procedió a identificar dentro de cada apartado ciertasregularidades entre sus numerosos indicadores. De esta manera, se agrupa-ron los indicadores en un limitado y manejable número de categorías que res-pondían a algún criterio racional y trataban de hallar grandes líneas estruc-turales de los procesos de autoría y revisión (cfr., Figura 1). Así, en el primerapartado que afecta a la visión general de los artículos se construyeron cuatrocategorías que tienen que ver con el formato, la relevancia, la legibilidad y laconsistencia. En el segundo apartado, de la introducción, diferenciamos cuatrocategorías: problemas en la precisión de los objetivos, en la claridad teórica, en ladocumentación y en la coherencia. En el tercer apartado, metodología se estable-cieron seis categorías, identificadas como problemas con la muestra, las hipó-tesis, las variables, el diseño, los instrumentos/programas y el procedimiento. En elcuarto apartado, dedicado al análisis y resultados, se agruparon los indicadoresen dos categorías: visibilidad de los datos y tratamiento estadístico. El quintoapartado es el de discusión y conclusiones, e incluye cinco categorías que agru-pan a los indicadores, relativas a problemas en la coherencia (en la discusión),por inferencias injustificadas, por incompletud (no completo), en la profundidado en las consecuencias . Y por último, los problemas en los aspectos formales seclasifican en tres categorías, en que los indicadores se agrupan en citas yreferencias, en títulos y anexos y en redundancia y valoraciones. En las tablas I aVI respectivas por apartados se incluyen los 95 indicadores precisos de lascausas de no aceptación de artículos, agrupados en las categorías respectivas.

Es importante subrayar que al analizar un informe de evaluación con este sis-tema lo que se computa es la presencia o ausencia de cada indicador. Por tanto, siuna objeción se expresa reiteradamente, sólo se contabiliza una vez. Obviamente,una vez sabido cuáles son los indicadores mencionados en cada revisor, es posibleestablecer el número de menciones que recibe cada categoría o cada apartado.

Ofrecemos a continuación un ejemplo del procedimiento seguido. En primerlugar, presentamos el listado de las proposiciones de una de las revisiones que eneste caso es el siguiente.

Listado de proposiciones que revelan objeciones:P1: No sigue la estructurade ningunode los tipos de artículos que admite la revista.P2: El artículo carecede indicacionesde su organización.P3: La revisión no sigue las pautas habituales (distinguirentre distintosmodelos o perspecti-vas, compararlasentre sí, defenderalgunade ellas).P4: La revisión de los conceptos centrales es superficial (no se adentra en los modelos y única-mente se citan su existencia).p5:No se documentacon referenciaslas afirmacionessobre autorese ideas.P6: No hay conexión entre la revisión y las propuestasque se desarrollan.p7: Se afirma haber realizado (una síntesis entre distintas alternativas), sin haberlas realmenteefectuado.p8: No se clarifica cuál es el procedimientoseguido (se mencionan los principiospero estos nose desarrollan).P9: No se clarifica cómo se llevó a cabo el procedimiento(por ejemplo, el papel de cada uno delos participantesni cómo los participantesadquirieronlas competenciasnecesariaspara serlo).p10:Referenciasbibliográficas.

! desajustesreferenciasy citas! no se siguen las normas para las referencias.

Es fácil apreciar, en primer lugar, que algunas de estas objeciones-propo-siciones aparecen reiteradamente y se repiten, a veces, con otras palabras enla misma revisión (por ejemplo p8 y p9) o en otras revisiones. Esta fue larazón para agrupar las distintas objeciones en expresiones más abstractas que

9

las originales, los denominados indicadores. Así, la proposición p8 y p9 pue-den reflejar un mismo significado que es recogido en una formulación másinclusiva, en este caso: “Procedimiento: falta información precisa”; de lamisma manera, p1 da lugar al indicador “Género impreciso”, que puede ser-virnos para computar cualquier objeción que aluda a que un determinadoartículo no se ajusta a los tipos de artículos aceptables para la revista. Estosindicadores figurarán en las distintas tablas (cfr., Tablas I a VI) que acompa-ñan el análisis de las objeciones de cada uno de los apartados y constituyenlas categorías terminales del sistema y la base de todos los cómputos queserán realizados.

Además, es evidente que los indicadores se relacionan con distintos apartados.Algunos tienen que ver con la introducción, por ejemplo, p4 y p5; otros, afectana la metodología (p8 y p9) y otros, por poner un último ejemplo, a las cuestionesformales (p10). Y hay, además, objeciones que tienen un carácter global, en el sen-tido de que cuestionan el trabajo como un todo, es el caso de los indicadores quese derivan de p6 o p1. Finalmente, esos indicadores de cada apartado se incluyenen alguna de las categorías del mismo.

De esta manera, el sistema de análisis que se empleó para analizar las cincuen-ta revisiones de los 25 artículos (dos revisores por artículo) se sintetiza en la figu-ra 1 y se detalla en las tablas I a VI ya referidas.

Tal y como puede verse en la figura 1 se han identificado seis apartados,24 categorías y 95 indicadores posibles, con una aparición efectiva de 783causas que señalan en total entre los 50 revisores. La coincidencia mediaentre cada par de revisores, en torno al artículo evaluado, es relativamentegrande. Por ejemplo, la probabilidad de que los dos revisores coincidan enlos seis apartados generales es del 81% (véase Anexo). De manera más con-creta, si un revisor hace una objeción correspondiente al apartado introduc-ción, hay una probabilidad de un 81% de que el otro revisor también lohaga en ese mismo apartado. Este grado de coincidencia disminuye, comocabe esperar, cuando se consideran las categorías de cada apartado. Así, en elcaso de las correspondientes a la visión general se alcanza un 66%; en las cua-tro categorías de introducción se observa un 58%; en las seis categorías demetodología , un 69%; las dos categorías de análisis y resultados , un 64%; lascinco categorías de discusión y conclusiones , un 57%; y por último, en las trescategorías de aspectos formales: el 83 %.

Es importante subrayar que el sistema permite codificar todas las ideas conte-nidas en las 50 revisiones que expresan objeciones, y que tienen que ver con latarea evaluadora. Es decir, permiten identificar las causas de no aceptación orga-nizadas en indicadores, las categorías que incluyen a los indicadores y los aparta-dos más generales en donde se incluyen las categorías.

Codificación de los contenidos que no contienen objeciones

Además de las objeciones, los informes contienen otras muchas ideas quetambién fueron analizadas por el mismo procedimiento que el resto de los conte-nidos y agrupadas, finalmente, en torno a cuatro aspectos. Por una parte, respec-to de los marcos que utilizan los revisores para hacer el análisis de los artículos.Por otra, el análisis de los recursos retóricos que utilizan los revisores en sus infor-mes. Además, analizamos la actitud de los revisores cuando emiten sus escritos.Y, por último, hemos hecho un estudio de las tareas adicionales a las de poner derelieve las limitaciones del trabajo.

10

11FI

GU

RA

1T

area

eval

uado

rade

los50

reviso

res(2

5ar

tícul

os):r

azon

esde

“noa

cepta

ción

dear

tícul

os”(có

mpu

tode

783

indi

cado

resag

rupa

dose

nap

arta

dosy

suba

part

ados-

categ

oría

s)

Cau

sas

noac

epta

ción

(ip:9

5;ai

r:78

3;10

0%)

Form

ato

(ip:6

;ai

r:51

;6,

5%)

Con

sist

enci

a(ip

:3;

air:

30;

4%)

Vis

ión

Gen

eral

(ip:1

7;ai

r:14

4;18

%)

Intr

oduc

ción

(ip:1

8;ai

r:20

4;26

%)

Met

odol

ogía

(ip:2

2;ai

r:18

0;23

%)

Mue

stra

(ip:5

;ai

r:45

;6%

)

Dis

eño

(ip:2

;ai

r:17

;2%

)

Tra

tam

ient

oes

tadí

stic

o(ip

:3;

air:

28;

3,5%

)

Aná

lisis

yre

sult

ados

(ip:1

2;ai

r:89

;11

%)

Vis

ibili

dad

delo

sda

tos

(ip:9

;ai

r:61

;8%

)

Dis

cusió

ny

Con

clus

ione

s(ip

:19;

air:

146;

19%

)

Consecue

ncias

(ip:4

;ai

r:19

;2,

5%)

Prof

undi

dad

(ip:7

;ai

r:38

;5%

)

Infe

renc

ias

inju

stifi

cada

s(ip

:3;

air:

43;

5,5%

)

Com

plet

ivo

(ip:2

;ai

r:18

;2%

)

Tít

ulo

yan

exos

(ip:2

;ai

r:5;

0,5%

)

Cit

asy

refe

renc

ias

(ip:3

;ai

r:8;

1%)

Cohe

renc

iaen

laDisc

usión

(ip:3

;ai

r:28

;3,

5%)

Asp

ecto

sfo

rmal

es(ip

:7;

air:

20;

2,5%

)

Red

unda

ncia

yV

alor

acio

nes

(ip:2

;air

:7;

1%)

Rel

evan

cia

(ip:6

;ai

r:29

4%)

Legi

bilid

ad(ip

:3;

air:

34;

4%)

Coh

eren

cia

(ip:3

;ai

r:41

;5%

)

Var

iabl

es(ip

:4;

air:

30;

4%)

Doc

umen

taci

ónco

mpl

eta

(ip:6

;ai

r:62

;8%

)

Cla

rida

dT

eóri

ca(ip

:5;

air:

67;

8,5%

)

Prec

isió

nen

los

Obj

etiv

os(ip

:4;

air:

34;

4%)

Inst

rum

ento

s(ip

:4;

air:

55;

7%)

Hip

ótes

is(ip

:5;

air:

10;

1%)

Proc

edim

ient

o(ip

:2;

air:

23;

3%)

Esqu

emac

onlo

sapa

rtad

osy

cate

gorí

asde

cada

apar

tado

.Tra

slad

enom

inac

ión

deca

daca

tego

ría,

agru

pada

sen

loss

eisa

part

ados

,se

incl

uyen

elnú

mer

oto

tald

eind

icad

ores

posi

-bl

es(ip

),la

sapa

ricio

nesd

ein

dica

dore

sefe

ctiv

amen

tere

feri

dosp

orlo

seva

luad

ores

(air

)yel

porc

enta

jere

spec

tode

ltot

alap

arec

idos

(redo

ndea

dos)

(%).

ANÁLISIS Y COMENTARIOS

Con el propósito de no distanciar la presentación de los datos (que son volu-minosos) de los comentarios que suscitan, se ha procedido a la presentación con-junta, combinando en un único apartado lo que, en un artículo de investigaciónhabitual, suele organizarse en dos: el dedicado a la presentación de los resultadosy el correspondiente a la discusión. Dejaremos los comentarios más globales paralas conclusiones.

En todo caso, seguiremos el orden ya anunciado. Primero, procederemos enrelación con las “razones de no aceptación de artículos” —relevantes especial-mente para los autores—, para después centrarnos en el análisis de los revisores.

1. Razones de la no aceptación de artículos: Diálogo con los autores

Tal y como se muestra en la figura 1, las objeciones se reparten de forma rela-tivamente equitativa en los distintos apartados. En todo caso, destaca el númerode objeciones que aluden a problemas en la introducción, que es el apartado querecibe más comentarios críticos (el 26% del total). También merece la penasubrayar el número total de objeciones realizadas, exactamente, 783, lo quesupone una media de casi 16 objeciones semánticamente diferentes en cada revi-sión, con una amplitud que va desde 6 causas que un revisor apunta, hasta 31causas de otros dos (cfr. Tabla IX). Una cifra que consideramos elevada y queindica que las revisiones tienden a ser concienzudas. Igualmente, da la impresiónde que el número de causas que cada revisor incluye tiene mucho que ver con laforma de organizar el informe, así los informes que centran la evaluación entorno a los problemas nucleares suelen contener menos causas, pero no por ellomenos importantes.

Las objeciones, según apartados, son, por orden de importancia tras las relati-vas a la introducción, las de la metodología (23% del total), discusión y conclusio-nes (19 % del total), visión general (18% del total), análisis y resultados (11%del total) y aspectos formales (2,5% del total).

Razones globales

Un buen número de objeciones, exactamente el 18% del total, o 144 indica-dores (cfr., Tabla I), cuestionan aspectos globales del trabajo y suelen conducir ala no aceptación del mismo (cfr., Figura 1). El análisis de todos los indicadoresque tienen este rasgo de globalidad lleva a diferenciar cuatro categorías de pro-blemas: en el formato (6,5% del total), en la consistencia (4% del total), en larelevancia (4% del total) y en la legibilidad (4% del total). La mayor parte deellos se explican por sí solos, pero merece la pena detenerse en alguno de ellos.

FormatoAsí, respecto del formato, cabe resaltar una objeción muy común a los artículos

encuadrables en la categoría informe de investigación: que no se ajuste al forma-to estándar, esto es, una introducción que plantee y justifique el problema que hade tratarse, la metodología desarrollada para abordarlo, los resultados alcanzadosy la discusión de los mismos según el marco de interpretación expuesto en laintroducción y las hipótesis derivadas del mismo. Naturalmente, el problema es

12

que toda esa información puede estar en el trabajo, pero distribuida de unamanera que no se ajusta a lo “esperado”.

Otra objeción, algo diferente, es la falta de articulación global del trabajo y laconfusión resultante. La manifestación más clara de todo ello es la presencia de unestilo enumerativo, en el que se tiende a acumular mucha información sin que seintroduzca expresamente un orden o esquema previo. Una posible sugerenciapara paliar esta objeción es que los autores anticipen el esquema organizativo quevan a seguir. Por ejemplo: “El artículo está organizado de la siguiente manera...”.

13TABLA I

Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectana la visión general del artículo

P R O B LE M A S E N V IS IÓ N G E N E R A L (V G ): N R e v iso res % (so b re lo s5 0re v iso res )

F O R M A T O

1. Género impreciso: no se encuadra en ninguno de los tipos de artículos previstos: 10 20informe de investigación, intervención, revisión, etc

2.Organización(sumade2.1a2.4) 36 722.1. Organización confusa. Falta articulación del informe. 23 462.2. No se siguen los apartados de informe de investigación 6 122.3. Necesidad de ajustar títulos de subapartados para que reflejen mejor de lo que 6 12

tratan. Mejorar la estructuración y claridad2.4. Sobran apartados no esenciales o no relacionados con el núcleo del objetivo 1 23. Falta hilo argumental: mera colección de ideas 5 10Total formato 51 6,5%(de783)

R EL E V A N C IA

1. El objetivo no es relevante porque no se justifica teóricamente su relevancia. 10 202. Resultados previsibles, se aportan pocos conocimientos nuevos 4 83. Falta una perspectiva psicológica (se opta por una perspectiva lingüística, o 4 8

matemática, o física) o basada en el desarrollo psicológico4. Reflexión teórica poco actual. Enfoque teórico no relevante en la actualidad 9 185. No es posible valorar el método, al no concretarse los objetivos 2 4Total relevancia 29 4%(de783)

L E G IB IL ID A D

1. Redacción y estilo confuso; tablas inexistentes; poner resultados en apartados; difícil 3 6leer gráficos, etc. Necesidad de mejorar la comunicabilidad del informe.

2. Necesidad de mayor esfuerzo de redacción y composición del artículo 17 343. Necesidad de precisión terminológica. 14 28Total legibilidad 34 4%(de783)

C O N S IS T E N C IA

1. No hay conexión entre lo Revisado y lo Realizado. No se desarrolla el objetivo 7 142. En la Discusión o en los resultados se apela a nociones y trabajos no presentados 18 36

en la Introducción . En los resultados aparecen variables no informadas en lametodología. En la introducción se explica el programa en vez de sufundamentación teórica, que debiera figurar en Metodología.

3. No se justifica desde el marco teórico la selección de instrumentos o categorías que 5 10luego adoptan.

Total consistencia 30 4%(de783)

T o tale s v is ió n g e ne ra l (V G ) 1 4 4 1 8 % (d e 7 8 3 )

Una tercera objeción es que el artículo se quede a medio camino entre unarevisión y un informe de investigación, o que no constituya realmente una revi-sión de un campo de estudio ni una reflexión crítica sobre el mismo, sino, porejemplo, comentarios más o menos ordenados sobre un tema. Pensemos en elcaso de un revisor que aduce que un determinado artículo “...no se puede encua-drar en ninguno de los tratamientos propios de la revista; ni es un informe deinvestigación, ni es un informe de intervención, ni es un artículo de revisión pro-piamente dicho”

RelevanciaUna segunda categoría de problemas globales que conducen frecuentemente

a la no aceptación es la de no encontrar suficiente relevancia al trabajo. En general,los revisores reconocen la relevancia potencial de los trabajos (esto es, el problemaplanteado es visto como social o educativamente relevante), y su ajuste con lalínea editorial de la revista; lo que quiere decir que Infancia y Aprendizaje tieneuna imagen nítida al menos para los autores (y los revisores). La queja tiene quever con la ausencia de relevancia teórica. Obviamente, esto depende de que seapele a modelos solventes que justifiquen tanto la definición del problema comolas variables o los indicadores elegidos. Por tanto, parece que no basta con selec-cionar un contenido relevante, sea, por ejemplo, el caso de la escritura argumen-tativa, pues también deben serlo los indicadores seleccionados y, si estos no loson (valga, como ejemplo, que se tomen únicamente indicadores del tipo“número de palabras utilizadas”), los revisores interpretan que el trabajo no esrelevante. Una cuestión más espinosa es el problema de la actualidad del marcoempleado, otra de las razones frecuentemente aducidas para no aceptar un traba-jo. Hemos de entender que el criterio de la actualidad está al servicio del de larelevancia (no siempre son relevantes referencias de “última hora” y no siemprepierden actualidad las referencias históricas). Es decir, se entiende que la actuali-dad es un modo —¡no el único!— de conseguir dar relevancia al trabajo y no unatributo que proporciona ese valor por sí mismo.

LegibilidadAdemás, los problemas de legibilidad tienen que ver con una redacción des-

cuidada, con confusiones en la terminología utilizada (uso de varias expresionespara un mismo concepto, por ejemplo) o con un tratamiento de tablas y figurasconfuso.

ConsistenciaPor último, un grupo de problemas se relacionan con la falta de consistencia

entre las distintas partes del trabajo. En este caso, el trabajo puede adoptar el for-mato estándar pero los revisores hacen ver que se aprecia una desconexión entreel marco teórico y las tareas desarrolladas o, como parece más común (un 32% -cfr., Tabla I), entre los sistemas de interpretación que se emplean en la discusióny los presentados en la introducción. La labor de los revisores es en este caso espe-cialmente relevante para hacer ver a los autores esa falta de continuidad quepuede pasar desapercibida a estos últimos. Hay que entender al respecto que enel apartado de la Discusión los autores pueden centrarse en encontrar un sentidoa los resultados, lo que les puede llevar a nuevas conexiones que, por ser las últi-mas, pueden ser la más valoradas pero, quizás, con el riesgo de que puedan per-

14

der su relación con lo planteado inicialmente. Por supuesto, se sobreentiendeque la discusión puede invocar cuestiones no previstas en la introducción peroesto debe tener una dimensión limitada y, cuando se haga, conviene advertirloexpresamente. Menos justificado es que no aparezca una conexión clara entre lascategorías de análisis empleados, las tareas afrontadas o los procedimientos desa-rrollados y el marco teórico, una cuestión que a juicio de los revisores ocurre conalguna frecuencia.

Más notorio es el caso de los trabajos en los que apenas si se constata un hiloentre las teorías y evidencias que se revisan y las investigaciones que se realizan.Aquí puede ocurrir que los autores den la impresión de que invocan un marcoteórico muy general que inspira pero no dirige el trabajo. En todo caso, resultamuy evidente que en las revisiones analizadas de Infancia y Aprendizaje se esperaque haya una adecuada documentación de los precedentes teóricos y empíricosdel trabajo que justifique los pasos dados para definir el problema y para acome-terlo (véase más adelante lo referido a Objetivos).

En resumen, las razones globales afectan tanto a la forma (legibilidad, formato)como al fondo (consistencia y relevancia). Los problemas de consistencia y formasuelen dar lugar a rechazar únicamente la versión actual del trabajo, en la esperade que las mejoras solicitadas permitan valorarlo contando con evidencias másfirmes, mientras que la ausencia de relevancia teórica suele dar lugar a no acepta-ción definitiva. Esto quizás ayude a los autores a conocer las categorías valora-tivas que guían a los revisores de la revista.

En cualquier caso, es importante reseñar que los revisores se ven en la necesi-dad de asumir una decisión que en muchos casos es realmente muy difícil: sabercuándo en un artículo no “está todo lo que debe estar”, pero se vislumbre “enpotencia” lo que se echa de menos, y cuándo, por el contrario, no parecen existiresos elementos y reclamarlos en los informes llevaría a una prolongación agónicadel proceso. Es imposible garantizar que ese juicio sea siempre correcto, pero almenos podría considerarse una virtud el hacer más transparente la racionalidadque guía la elaboración del informe.

Razones ligadas al Apartado Introducción

Respecto de la Introducción, hay un buen número de objeciones (204, lo queconstituye un 26 % del total). Se han agrupado estas objeciones en algunas cate-gorías específicas (cfr., Tabla II). Como en el caso anterior, nos limitaremos a glo-sar las más relevantes una vez hemos dejado expuesto el porcentaje de mencionesde cada uno de los indicadores.

ObjetivosEn primer lugar, los revisores se quejan deun conjunto de problemas que tienen

que ver con la precisión del objetivo que se persigue. En muchos casos, ese objetivosólo se llega a percibir con nitidez al finalizar la lectura del artículo. En otros casos,hay una formulación del objetivo por acumulación, esto es, se presenta un conjuntoamplio de posibles objetivos sin que se pueda llegar a apreciar cuál es la diferenciaentre ellos ni, por tanto, lo que realmente se persigue. Por supuesto, el objetivopuede estar en el texto pero no tan visible como sería necesario. Quizás, los autoresdesean subrayar todas las implicaciones del trabajo, lo que les lleva a una introduc-ción excesivamente amplia e imprecisa. Una buena idea es que los autores se haganesta pregunta que se recomienda en el manual de la APA (1994): ¿cómo hacer verdesde el principio al lector lo que se quiere resolver en el trabajo? Probablemente,

15

el acierto de muchos artículos reside en que consiguen hacer visible lo que persi-guen apenas se ha avanzado unos pocos párrafos. Por supuesto, ese objetivo especí-fico sólo encuentra su sentido en un marco más general, pero el objetivo del artícu-lo no puede ser resolver, valga el ejemplo, el problema de la didáctica de las mate-máticas, sino entender la incidencia de una determinada variable educativa en laadquisición de un determinado concepto. Otra ilustración podría ser plantear elproblema global de la relación entre clima social y familiar y la adaptación personaly social, cuando el estudio se centra de hecho en cuestiones específicas de la resolu-ción de conflictos familiares en la etapa de la adolescencia. Sería de esto último, silos ejemplos valen, de lo quehabría que hablar cuanto antes.

16TABLA II

Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectana la introducción del artículo

P R O B L E M A S EN IN T R O D U C C IÓ N (I ): E n fo q u e y p lan tea m ien to N R ev iso re s % (so b re lo s 5 0re v iso res )

P R E C IS IÓ N EN L O S O B JE T IV O S

1. No se define cuál es el problema específico que se persigue –Problema inespecífico 12 242.Objetivoinespecífico(sumade2.1a2.3) 22 442.1. No se define cuál es el objetivo específico que se persigue 17 342.2. Objetivo no enunciado 1 12.3. Falta explicitar el propósito antes de la revisión 4 8Total objetivos 34 4%(de783)

C L A R ID A D T E Ó R IC A

1. No se desarrollan en profundidad los conceptos clave 21 422. Marco teórico confuso. Poca elaboración del marco teórico. 16 323. No se ilustran los modelos con aplicaciones concretas 2 44. No se selecciona adecuadamente la información revisada. Se habla de lo que no se 25 50

debe y no se habla de lo que se debe5. Se abordan demasiados temas 3 6Total claridad teórica 67 8,5% (de 783)

C O H E R E N C IA

1. Los autores no exponen cuál es el punto de vista adoptado. El trabajo carece de un 17 34marco teórico preciso. No se revisan los argumentos en contra.

2. Falta justificar enfoque y lo que se espera de él 7 143. No se organiza la introducción (según perspectivas, modelos, polémicas), estilo 17 34

enumerativo, telegráficoTotal coherencia 41 5%(de783)

D O C U M E N T A C IÓ N C O M P L E T A

1.Revisiónyreferencias(suma1.1y1.2) 35 701.1. No se revisan los trabajos específicamente vinculados con el objetivo específico, 31 62

pero sí los de carácter general1. 2. Referencias inapropiadas. Referencias excesivamente generales 4 82. Diferenciar las ideas originales de la exposición de las ideas de otros 1 23. No se documentan con referencias las afirmaciones sostenidas en el trabajo 14 284. Referencias muy poco actuales. Faltan referencias claves. 10 205. No se justifica la ausencia de precedentes. 2 4Totaldocumentación 62 8%(de783)

T o ta l in tro d u c ció n (I ) 2 0 4 2 6 % (d e 7 8 3 )

En ese mismo sentido, un amplísimo número de revisores señalan que no seconsideran los precedentes inmediatos de lo que se quiere hacer y que de estamanera resulta muy difícil comparar los resultados obtenidos o la metodologíaempleada con otros estudios. Una consecuencia de esta reflexión es que el encon-trar un objetivo específico puede conseguirse remitiéndose a los precedentes quede forma más concreta se relacionan con el trabajo. La ausencia de los mismos,salvo que se advierta y que se justifique adecuadamente su probable inexistencia,es interpretado como una señal de inmadurez.

Por ejemplo, los revisores advierten de que los autores de un trabajo en el que seproponen, valga como ejemplo, estudiar el papel de la conciencia fonológica en lalectura de niños con síndrome de Down, emprenden una revisión general delcampo de estudio (por ejemplo la lectura), sin hacer una revisión de los trabajos quehan abordado el mismo problema específico que se intenta acometer en el trabajo(la conciencia fonológica en niños con síndrome de Down). Consecuentemente, sequejan los revisores, los datos no pueden compararse con los de ningún otro estu-dio y es difícil valorar el interés o relevancia del trabajo (lo que nos remite al pro-blema de relevancia tratado en el apartado anterior).

Parece absurdo exigir a los autores que citen siempre, los haya o no, preceden-tes inmediatos, pero parece ser útil al lector aclarar cuándo no los hay y subrayarla necesidad de correr el riesgo (relativo, por supuesto) que supone la ausencia deprecedentes.

Claridad teóricaEste primer grupo de objeciones suele llevar acompañadas otras ligadas a la

falta de claridad. Los indicadores de esta categoría se explican por sí mismos, perode entre ellos destaca uno que no sería muy difícil de resolver: la introducciónconsidera muchas cuestiones sin detenerse con el suficiente detalle en los concep-tos que articularían el trabajo. Consecuencia: falta de claridad en el marco teórico.Algunos evaluadores hablan, por ejemplo, de una revisión tipo Manual, cuando loque se necesita es una revisión que tome en consideración el eje creado por un pro-blema específico que se quiere resolver y que lleva a ciertas hipótesis (si el trabajolas requiere) u objetivos específicos que guían el trabajo. Una ilustración de estoúltimo, es el alto grado de coincidencia en cada evaluador entre las categorías deobjetivos y de claridad teórica, un 56%.

Un tercer problema que despierta la atención de los revisores es que no sedesarrollen con suficiente profundidad y claridad los conceptos claves. Se hablade ellos, dice algún revisor, pero sin desarrollarlos. En parte esto es consecuenciade no partir de un objetivo preciso. Otros revisores se quejan de que se habla dedemasiadas cosas y urgen a los autores a seleccionar las que sean relevantes res-pecto del objetivo específico que se persiga.

Coherencia en la introducciónUn tercer tipo de problemas tiene más bien que ver con la articulación o coheren-

cia de lo que se dice. En este caso, los revisores suelen apuntar que no hay un esque-ma claro de la revisión. Entre otros: revisar los distintos enfoques, ordenar en eltiempo las distintas propuestas, partir de un cierto número de dimensiones paraidentificar los puntos de continuidad o discontinuidad entre las distintas alternati-vas. Algo así como: “hay tres grandes cuestiones que han suscitado discusiones enlos últimos años: a... b... c... Por lo que se refiere a a... Por lo que se refiere a b... “.

17

Además, se espera que los autores se pronuncien respecto del marco que se vaa utilizar o al menos sobre el modo como se va a utilizar el marco revisado.

Documentación completaFinalmente, y aunque es a todas luces una cuestión menor, los evaluadores de

Infancia y Aprendizaje suelen esperar que los autores documenten sus afirmacionesapelando a las fuentes adecuadas. De esta manera no suele aceptarse que se atri-buya una idea a un autor y no se advierta la fuente.

Es interesante destacar que la mayor parte de las objeciones consignadas eneste apartado tienden a ser resolubles, salvo de nuevo las más ligadas a la relevan-cia teórica (esto es, la precisión de los objetivos). De esta manera, y dada la fre-cuencia de menciones a lo considerado en este apartado sería de sumo interés quelos autores leyeran lo expuesto en este apartado. Muy probablemente, como con-clusión, podríamos centrar la atención en estas tres cuestiones:

1) la introducción debe centrarse en clarificar a los lectores el problema que seva a intentar resolver (es lo que muchas veces aparece con más claridad en la dis-cusión, pues “el problema” es justamente lo que los autores necesitan clarificaren ese apartado final). Pero claro, en muchas ocasiones los autores han de con-cluir el artículo para saberlo, de ahí que escribir sea reescribir;

2) los autores deben contextualizar ese problema clarificando especialmentelos conceptos de los que depende la comprensión y el sentido de ese problema, elresto de las cuestiones, por interesantes que puedan resultar, podrían quedar enun segundo plano;

3) esa exploración de los conceptos clave puede verse facilitada si se hace unarevisión ordenada de los marcos o perspectivas empleadas.

Por supuesto, en mayor o menor grado, todos los autores podrían mejorar laintroducción a sus artículos (de hecho hay obras magníficas que ilustran de formaprecisa cómo hacerlo, cfr., por ejemplo, Sorenson, 1997). Ahora bien, ¿cómorenunciar a exponer cuestiones que, en sí mismas, son tan importantes? ¿cómosaber cuál es el punto justo de clarificación que se necesita? La respuesta, quizás, lapueda encontrar mejor el otro que uno mismo. Y es, justamente, por ello por lo quela evaluación es tan necesaria, puesto que juega un papel regulador que, cuando elque escribe va asumiendo esta función, se transforma en autorreguladora (cfr., paraesta cuestión por ejemplo Graham y Harris, 2000 a y b). Una recomendación muyevidente a la luz de lo expuesto es reservar siempre un tiempo suficiente para remi-tir el original a otros colaboradores y colegas antes de darlo por terminado.

Razones del apartado Metodología

Un tercer grupo de objeciones tiene que ver, como ya vimos en su momento,con la metodología (180 indicadores o el 23% de todas las causas de no aceptaciónde artículos —cfr., Tabla III—). En este caso, las objeciones son igualmente pre-visibles y en algún caso, como las ligadas a los problemas de diseño, muy difícil-mente comentables en el limitado espacio de estas páginas.

MuestraLos problemas ligados a la muestra son de tres tipos. El más común es que no

se ofrecen todos los datos que serían necesarios; los autores no informan con sufi-

18

19TABLA III

Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectana la metodología del artículo

P R O B L E M A S E N M E T O D O L O G ÍA (M ): N R e v iso res % (so b re lo s 5 0rev iso re s )

M U E S T R A

1.Nosedefinenapropiadamente lascaracterísticasdelasmuestras(sumade1.1y1.2) 27 541.1. Participantes-Criterios de configuración de las muestras poco claros 16 321.2. Participantes-Se desconocen datos importantes o relevantes de las muestras (curso 11 22

x conglomerados, etc)2. La muestra no es apropiada para obtener los datos relativos a los objetivos del 15 30

trabajo [Participantes-Errores en la configuración. Falta una muestraesencial (ej., de zurdos).]

3. Tamaño apropiado para los análisis de datos (potencia, análisis factorial, etc.) 0 04. Representatividad de la muestra (procedimiento apropiado de muestreo, 15 30

características de la muestra que avalan la representatividad, etc.). Norepresentatividad de la muestra

Totalmuestra 45 6%(de783)

H IP Ó T E S IS

1. No reflejan los problemas derivados de la revisión teórica. No están bien articuladas con la introducción, y por tanto noestán adecuadamente justificadas 1 22. No están bien definidas operacionalmente, de forma que es difícil su contrastación. Se plantean como preguntas abiertassin que se vislumbre el compromiso de ponerlas a prueba 0 03.Losobjetivosdeuntrabajonosecircunscribennecesariamentealacontrastaciónd 9 18

hipótesis.Lafinalidadpuede serlameradescripcióndeunfenómeno,nolapuestaapruebadeunos supuestos(sumade3.1y3.2)

3.1. No aparecen con suficiente claridad. No aparecen. (cuando debieran aparece 9 18porque no es una mera descripción)

3.2. Las hipótesis se adivinan en la discusión 0 04. Un criterio importante ha de ser la relevancia teórica, práctica o social de los

objetivos y/o hipótesis (falta) 0 0Totalhipótesis 10 1%(de783)

V A R IA B L E S

1. No están bien definidas operacionalmente 16 322. Su número es excesivo. No se presentan de forma ordenada 4 83. Carecen de relevancia teórica. No se justifican psicológicamente. 10 204. No son adecuadas para contrastar las hipótesis 0 0Total variables 30 4%(de783)

D IS E Ñ O

1. No aparece clara la modalidad metodológica del trabajo (experimental, selectiva 6 12observacional). Las limitaciones nucleares del artículo tienen que ver con eldiseño metodológico

2. El diseño no es apropiado. Validez: Ausencia de grupo de control. Orden de 11 22aplicación de instrumentos inadecuado o no controlado. No medidas previas.Diseño no especificado

Totaldiseño 17 2%(de783)

IN S T R U M E N T O S

1.Losinstrumentos(materialesoprogramas)seleccionadosnosedescribenconrigor 41 82(sumade1.1y1.2)

ciente claridad de los criterios, de las características (procedencia, sexo, edad, ori-gen), lo que lleva a los revisores a hacer sugerencias frecuentes de clarificación.En segundo lugar, que la muestra es insuficiente para alcanzar los objetivos. Y,en tercer lugar, que hay problemas en la configuración (cómo se ha seleccionado,cómo se han asignado a grupos, etc).

HipótesisDe igual manera, las hipótesis pueden no ser expuestas con suficiente detalle.

Más relevante es que estén desconectadas con el marco teórico de la introducción(un ejemplo más de falta de consistencia comentada en el primer apartado). Enese sentido, los revisores suelen recomendar que los autores revisen la introduc-ción atendiendo a la naturaleza de las hipótesis. Es justamente esa relación queen ellas se precisa lo que debe ser justificado, clarificado conceptualmente y revi-sado en la introducción. Lo cierto es que en ocasiones el lector puede apreciarcuál es la hipótesis cuando el autor se adentra en interpretar que los datos no cua-dran con ellas.

VariablesCualquier investigación requiere una definición operativa y precisa de las

variables, seleccionando el número adecuado a los objetivos del estudio, que pre-senten relevancia teórica o que sean adecuadas para contrastar las hipótesis. Losrevisores refieren (32%) casos en los que no están bien definidas o que carecen derelevancia teórica (20%).

DiseñoSon varias las causas de modificación o no aceptación de artículos que identi-

fican los revisores en relación con el diseño metodológico, desde la no aparición clarade la modalidad metodológica del trabajo (12%) a no ser apropiados (22%). Laplanificación previa de cualquier investigación obliga a definir el diseño más

201.1. Instrumentos y materiales y programas: Indicadores de las variables mal definidos. 15 30

Diferenciar medidas más sensibles. Desequilibrio entre la evaluación y locodificado y utilizado en la investigación.

1.2. Instrumentos y materiales y programas: No se describen con claridad las tareas y/o 26 52instrumentos. No se hace una descripción concreta de un programa. No sedescriben con claridad las categorías utilizadas.

2.Losinstrumentos (materialesoprogramas)nosonlosmásapropiados(insuficiente 14 28validezyfiabilidad,adaptacióninadecuadaalapoblaciónde interés)(sumade2.1y2.2)

2.1 Faltan medidas relevantes o importantes para el estudio. Sesgos en cuanto 7 14selección de tareas (insuficientes)

2.2. Los instrumentos son poco adecuados según la definición de las variables. 7 14Total instrumentos 55 7%(de783)

P R O C E D IM IE N T O

1. No se describe con precisión. Falta información precisa (participantes, contextos 22 44roles instruccionales, horas de evaluación)

2. No es adecuado (sensible a variables extrañas). Tratamiento experimental 1 2intervención muy reducido (excesivamente breve o muy limitado)

Total procedimiento 23 3%(de783)

T o tal m eto d o lo g ía (M ) 1 8 0 2 3 % (d e 7 8 3 )

adecuado para los objetivos que se persiguen. Los autores han de ser conscientesde que la publicación del artículo también tiene que ver con una explicación deldiseño que permita valorar los datos y las posibles interpretaciones.

InstrumentosEs una categoría, la de instrumentos (programas, materiales, sistemas de cate-

gorías), de cierta importancia, pues es referida por el 82% de los revisores queseñalan que no se describen con rigor, o que no son apropiados, un 28%. Cuandose utilizan sistemas de categorías esta objeción es especialmente importante,puesto que al tratarse de instrumentos ad hoc para la investigación no suele exis-tir conocimiento previo de ellas (distribución comercial).

ProcedimientoEl apartado dedicado al procedimiento suele merecer un buen número de

comentarios críticos. Muchos de ellos hacen ver que la información es insuficien-te para entender lo que realmente se ha hecho, esto es, los pasos dados para confi-gurar la muestra, para diseñar o desarrollar la tarea, para recoger los datos. Losautores pueden pensar que eso se deduce fácilmente de los datos y de los distin-tos comentarios realizados, pero en muchas ocasiones resulta vital entender elproceso seguido para comprender el modo de operar con los datos y las conclu-siones extraídas de ellos. Eso es lo que suele ocurrir con el apartado dedicado alprocedimiento de intervención, en el que apenas si se comentan únicamente losprincipios rectores de lo que se hace pero no lo que realmente se hace. Quizássimplemente lo que ocurre es que no es fácil describir verbalmente un procedi-miento y resulta más sencillo apelar a los principios que los organizan, pero loslectores necesitan saber en qué consistió exactamente el procedimiento parapoder valorar los resultados obtenidos, y si cabe para poder hacer una replicaciónde la investigación. Una vez más debemos destacar la necesidad de una lecturaajena al grupo de investigación para evitar esos errores de interpretación, y tomarconciencia del lector, es decir, de la audiencia (Wong, 1999; Wray, 1998).

De igual manera, la presentación de las tareas o de los sistemas empleadospara extraer los datos pertinentes no siempre son suficientemente clarificados loque despierta la necesidad de pedir aclaraciones y modificaciones.

Razones del apartado de análisis y resultados

Hay dos categorías en este apartado, que representa el 11% del total u 89razones de no aceptación (cfr., Tabla IV). Los indicadores que se agrupan enla categoría visibilidad de los datos, que incluye básicamente razones de nopresentación de forma exhaustiva de los datos requeridos por los objetivos olas hipótesis y de que no se presentan de forma ordenada y clara —no seresumen parsimoniosamente los datos en tablas y gráficos, o las tablas y losgráficos no están bien identificados de acuerdo a las normas APA— (con 61indicadores referidos o el 8% del total). Y la otra categoría se refiere al trata-miento estadístico de los datos, que agrupa los indicadores, básicamente, relati-vos al hecho de que los análisis estadísticos no son apropiados para los datosobtenidos (nivel de medida, incumplimiento de supuestos, tamaño de lasmuestras), con una presencia de 28 indicadores referidos que representan el3,5% del total.

21

Los revisores alegan que un artículo ha de revirsarse, en lo que atañe a esteapartado, cuando hay problemas de análisis de datos (insuficiente o inapropiado)o cuando hay problemas en la presentación de los mismos.

TABLA IVTarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan

al análisis y resultados del artículo

P R O B LE M A S E N A N Á L IS IS Y R ES U L T A D O S (A R ) N R ev iso re s % (so b re lo s 5 0re v iso re s )

V IS IB IL ID A D D E L O S D A T O S

1.Nose presentandeformaexhaustivalosdatosrequeridosporlos objetivosolas 39 78hipótesis(faltandatosrelevantes)(sumade1.1a1.6)

1.1. No hay ajuste entre los datos y los objetivos (o no hay presentación sistemática 11 22de todos ellos)

1.2. No se presentan datos de todas las variables. No hay datos de conjunto 11 221.3. No se proporcionan los materiales de los que se obtienen los datos 4 81.4. No se ofrecen las puntuaciones directas cuando son relevantes 0 01.5. Se presentan datos sin clarificar su origen ni su relación con el texto 6 121.6. Apenas si se presentan resultados. No se presentan los resultados 7 142.Nose presentandeformaordenadayclara(resumirparsimoniosamente losdatosen 22 44

tablasygráficos, lastablasygráficosnoestánbienidentificadosdeacuerdoalasnormasAPA)(suma2.1a2.3)

2.1. Necesidad de presentar de forma ordenada y clara los resultados 6 122.2. No se explican en el texto los datos de las tablas. 6 122.3. Incluir gráficos o tablas ilustrativos de los datos. Incluir contrastes estadísticos 10 20

en gráficos o tablas.Total visibilidad 61 8%(de783)

T R A T A M IE N T O E S T A D ÍS T IC O

1.Losanálisis estadísticosnosonapropiados paralosdatos obtenidos (niveldemedida 28 56incumplimientode supuestos, tamañodelasmuestras).(sumade1.1a1.3)

1.1. Sistema de análisis estadístico Inadecuado. Confuso. Carece de rigor. Necesidad 21 42de análisis adicionales. Sólo se hace análisis intragrupos. Se dice que sehacen análisis pero no se presentan.

1.2. No se especifica el tratamiento dado a los datos 6 121.3. Se comparan puntuaciones directas y no estandarizadas. 1 2Total tratamientoestadístico 28 3,5%(de783)

T o tal a n á lis is y resu lta do s (A R ) 8 9 1 1 % (d e 7 8 3 )

Razones del apartado de Discusión

En la discusión hemos encontrado varias categorías de problemas (con 146indicadores referidos o el 19% del total —cfr., Tabla V—). El primero de ellosinsiste en la cuestión de la coherencia.

CoherenciaEn este caso, los problemas se evidencian en el momento en el que los reviso-

res no ven una relación precisa entre las hipótesis-resultados-interpretaciones (el52% de los revisores lo refieren, cfr., tabla V). Dicho en otras palabras, lo que seespera es que se parta de un recordatorio de las hipótesis para adentrarse en losresultados y de ahí a las interpretaciones que se juzguen necesarias. Un artículo

22

inmaduro suele mostrar alguna fisura en este eje básico. Algunos ejemplos pue-den hacer ver la importancia que conceden los revisores a este apartado.

Ejemplo 2 A: “... tal vez debería de existir una mayor relación entre estas con-clusiones y el marco teórico inicial del artículo y, entre estas conclusiones y losresultados reales que se han obtenido en la investigación. En definitiva señalarque la información que en el artículo se nos ofrece no nos permite compartir lasconclusiones que los autores exponen, no por incorrectas sino por falta de infor-mación más precisa”

Ejemplo 24 B: “... en la discusión no se atiende apenas al segundo objetivo,pues no se abordan los resultados obtenidos en el grupo experimental en relacióna los obtenidos en los grupos de control, antes y después del tratamiento”.

Un aspecto más específico es que se mezcle la presentación de los resultadoscon su interpretación, cuando justamente la división del artículo en los dos apar-tados de resultados y discusión conlleva el evitar cualquier mezcla de ambos. Esel caso extremo de un artículo en dos apartados (introducción y desarrollo) enque se ‘mezclan’ todos los apartados, y es el caso de un informe con un apartadoúnico para resultados y discusión pero sin justificar la razón del mismo (porejemplo, tratarse de un estudio cualitativo o exploratorio donde no hay contras-tes de hipótesis, como el caso del presente trabajo).

Inferencias injustificadasUn segundo apartado tiene que ver con la impresión de que se hacen inferen-

cias a partir de datos que no las justifican. En ese sentido, conclusiones demasiadotajantes son comúnmente destacadas (32% de los revisores) También es relativa-mente común advertir de que los autores ofrecen recomendaciones que, aunquesean en sí mismas razonables, no están justificadas por el estudio presentado.

No completoHemos agrupado aquí un conjunto de indicadores que tienen como elemento

común el de que no se lleguen a examinar todos los datos y por tanto todas lasimplicaciones de los mismos.

ProfundidadOtra queja relacionada tiene que ver con la profundidad de la reflexión. Se trata

de una queja difícil de definir sin apelar a ejemplos concretos. Esencialmente, setrata de pedir algo más que una constatación de los resultados alcanzados. Esosresultados deben ser interpretados desde las teorías de partida y debe hacerseapelando a las cuestiones más específicas desarrolladas en el trabajo. Por ejemplo,si en un experimento de corte instruccional se entrena a los participantes en unacapacidad dándoles dos o más dietas o tratamientos instruccionales diferentes, setrata de no limitarse a constatar que uno ha sido mejor que otro, y aventurarse enuna interpretación de las implicaciones psicológicas que tienen las diferentesdietas. En otras palabras, no bastará con decir o constatar que hubo un mayorefecto en el tratamiento A respecto del B, sino intentar interpretar o explicar dequé aspecto concreto del tratamiento A pueden depender las ventajas en élconstatadas.

Naturalmente, la existencia de varias argumentaciones que no se ponen enrelación entre sí es otro motivo de cuestionamiento que revela falta de profun-didad.

23

24TABLAV

Tareaevaluadoradelos revisores: causasescritasde ‘noaceptacióndeartículos’: Indicadores queafectanaladiscusiónyconclusionesdelartículo

P R O B LE M A S E N D IS C U S IÓ N Y C O N C L U S IÓ N E S (D C ) N R ev iso re s % (so b re lo s 5 0re v iso re s )

C O H E R E N C IA E N L A D IS C U S IÓ N

1. Se mezcla la presentación de los resultados con su interpretación y discusión 2 42. Falta de coherencia entre el marco expuesto en la introducción y el empleado en l 16 32

discusión. Por ejemplo, no se alude a las hipótesis ni a los objetivos en ladiscusión. Como consecuencia no se pueden valorar los razonamientos

3. Falta de relación entre los resultados y las conclusiones. Las conclusiones no se 10 20remiten a los resultados

Total coherencia 28 3,5%(de783)

IN FE R EN C IA S IN JU S T IF IC A D A S

1. Se asumen como diferencias significativas lo que son simplemente tendencias o 8 16diferencias entre puntuaciones. Se asumen resultados positivos (apoyocuando son negativos.

2. Se da por bueno conclusiones no avaladas por los datos ( los sujetos tenían igual nivel 16 32de conocimientos previos, sin haber presentado los datos correspondientes niel modo de obtenerlos) En la revisión no se apoyan las afirmaciones coninvestigaciones empíricas

3. Inferencias demasiado rotundas o generalizaciones excesivas 19 38Total inferencias injustificadas 43 5,5% (de 783)

IN C O M P L ET U D

1. No se comparan los resultados y conclusiones obtenidos con los de otros trabajos. 11 22No se hace referencia a los argumentos en contra.

2. No utilizan datos en la reflexión que pudieran explicar los resultados. 7 14Total incompletud 18 2%(de783)

P R O F U N D ID A D

1. Poca relevancia de las reflexiones. No se profundiza en las cuestiones nucleares. 8 162. Quedan sin resaltar datos importantes. Falta profundizar en reflexiones esenciales 17 343. Ausencia de reflexiones originales en un artículos de revisión 1 24. No dan una explicación psicológica de las diferencias obtenidas 3 65. Falta reflexión entre los resultados y las pruebas realizadas. 4 86. No se hace una valoración cualitativa ante datos cualitativos o cuantitativa ante 1 2

datos cuantitativos7. Argumentaciones contradictorias. Se utilizan argumentos a favor, que en realidad 4 8

lo son en contraTotal profundidad 38 5%(de783)

C O N S E C U E N C IA S

1. Falta un apartado de conclusiones. No pueden considerarse como tales. Necesidad 6 12de mejorar este apartado

2. No se hacen ver las aplicaciones de lo desarrollado en el trabajo. 8 163. No se reconocen las limitaciones de la investigación. 4 84. No se dan sugerencias para investigaciones futuras 1 2Total consecuencias 19 2,5%(de783)

Totaldiscusiónyconclusiones(DC) 146 19%(de783)

ConsecuenciasEs otra categoría de objeciones que puede ser alegada por los revisores, si bien

no es demasiado común (19 indicadores o un 2,5% del total). Así, cuandoadvierten de la ausencia de ese apartado o cuando comentan que el que apareceen el texto no es tal. Hemos de entender que ese apartado puede ser especialmen-te indicado en el caso de que la discusión haya sido muy extensa o cuando sequiera hacer ver las posibles aplicaciones o consecuencias de lo tratado.

TABLA VITarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan

a los aspectos formales del artículo

P R O B L E M A S E N L O S A S P EC T O S F O R M A L E S (A F ) N R e v iso res % (so b re lo s 5 0rev iso re s )

C IT A S Y R E F ER E N C IA S

1. No sigue las normas de la APA en las referencias 4 82. Citar originales y no traducción 2 43. Excesiva inclusión de citas literales 2 4Total citas yreferencias 8 1%(de783)

T ÍT U L O Y A N E X O S

1. El título es más ambicioso que el contenido, o no se ajusta bien al contenido 4 82. Los materiales podrían adjuntarse en un anexo 1 2Total títuloyanexos 5 0,5%(de783)

R ED U N D A N C IA Y V A L O R A C IO N E S

1. Reiteración de las mismas ideas. 4 82. Suprimir las propias valoraciones, reducir metáforas 3 6Total redundanciayvaloraciones 7 1%(de783)

Totalaspectos formales (AF) 20 2,5%(de783)

Razones en el apartado de aspectos formales

Si bien no constituyen causas de no aceptación de artículos, es claro que lascuestiones referidas tienen cierta importancia y facilitan la comunicabilidad y lalectura comprensiva del mismo. Tiene que ver con la conciencia de los procesosmecánicos, que diría Wray (1998) o Wong (1999), pero que afectan a los procesossustantivos de los artículos, y es en este sentido en el que hay que entender lasobjeciones de los revisores (20 indicadores o el 2,5% del total —cfr., Tabla VI—).Hemos agrupado todo este grupo de objeciones en tres categorías de problemas:en relación con citas y referencias, con el título y anexos o con la redundancia o reitera-ción de las mismas ideas

2. Sobre la labor de los revisores: Diálogo con los revisores

Como ya hemos advertido en distintos momentos, al mismo tiempo queintentamos desentrañar las razones contenidas en los informes de evaluaciónelaborados por los revisores, encontramos un buen número de proposicionesy comentarios que tienen que ver más, aunque no siempre, como enseguida

25

veremos, con el propio revisor que con el artículo revisado. Al analizar todasesas proposiciones que no suponían objeciones, entendimos que una buenaparte de ellas tenían que ver con otras tareas no evaluativas que los revisoresasumían, es lo que denominaremos en lo sucesivo tareas espontáneas de los revi-sores. Además, otro buen número de elementos tenían una función retórica,esto es, parecían dedicados a clarificar lo que se quería decir y no tanto adecir o exponer nuevas ideas. También, en muchos otros casos se trataba másque de juicios sobre el trabajo, de argumentos que sostenían esos juicios o, enmuy pocos casos, diálogos o conversaciones encubiertas con el autor o autores.Esto nos llevó a diferenciar estilos o actitudes diferentes en los distintos eva-luadores. Finalmente, otro buen número de elementos tenían que ver con elmodo de organizar la propia revisión.

De esta manera, agrupamos todos los comentarios que no suponían objecio-nes en estos cuatro apartados:

1. Las tareas no-cuestionadoras asumidas por los revisores2. Las actitudes adoptadas.3. Los sistemas empleados para dar orden y organizar la revisión.4. Los recursos usados para esclarecer la intención de la revisiónEl análisis de este material puede ayudarnos a estudiar la labor del revisor y

suscitar, como señalábamos anteriormente, una toma de conciencia colectiva enla que cada cual pueda objetivar sus preferencias y, al hacerlo, si llega el caso,explorar la posibilidad de enriquecer su modo de hacer las revisiones.

Tareas no-cuestionadoras

Hemos visto que los revisores pueden asumir tres diferentes tareas además dela de exponer sus objeciones: apoyar al autor, destacando aspectos que son deinterés o que son valorados como relevantes, prometedores o interesantes, clarifi-car conceptos que parecen relevantes o sugerir alternativas precisas y viables a lasobjeciones realizadas. Es de destacar que estamos hablando de revisiones en lasque se rechaza el artículo, de ahí que se asuma que deberán predominar los jui-cios frente a las felicitaciones, pero es que, como mencionábamos más arriba, lacuestión es si es posible conseguir que sin perder el rigor podamos hacer nuestravida más agradable. En la tabla VII adjunta presentamos el porcentaje de las pro-posiciones o argumentos dedicados a cada una de esas tareas.

Como puede apreciarse, la totalidad de los revisores advierte elementos posi-tivos en el trabajo. Es muy común que esto ocurra en el inicio de la revisión, enla que se destaca la relevancia social o potencial del trabajo, el esfuerzo reali-zado. También, y en contra de nuestra apreciación inicial, ocurre lo mismoen un 50% de los casos durante el desarrollo de la evaluación. Sin duda algoen principio más difícil de hacer, puesto que el énfasis se está poniendo enjustificar un juicio adverso. Como editores no tenemos ninguna duda de quelos revisores actúan con un indudable compromiso con la tarea, por eso, ydesde esa seguridad, quizás sea el momento de hacer ver la necesidad desubrayar esa otra dimensión de la evaluación: el reconocimiento del otro. Hemostenido la paciencia de contar cada una de las menciones en las que se destacael valor del trabajo y el total es de 129, lo que supone una media de 2, 58comentarios positivos por revisión ¿Es esta cifra razonable? ¿Cabe algunareflexión al respecto?. Por supuesto, hablamos de reconocer al otro, y no deactos de mera cortesía (aun cuando ésta no debería ser despreciada).

26

Además, los revisores asumen otras dos tareas muy importantes. Clarificarconceptos (algo poco frecuente) que a su juicio lo requieren y sugerir medidas fac-tibles que podrían mejorar el trabajo. Dejamos a los lectores que valoren lascifras encontradas (cfr., Tabla VII).

Actitudes o estilos de los revisores

Una buena parte de los contenidos de muchos revisores puede interpretarsecomo si reflejaran una actitud ante la evaluación. Es el caso de las argumentacio-nes que en sí mismas no encajan dentro de las categorías hasta ahora identifica-das o de las apelaciones a los autores (“entiendo que los autores pueden pen-sar:..”). En este caso más que realizar cómputos hemos optado por utilizar su pre-sencia como indicadores de actitudes o estilos, lo que nos ha permitidodiferenciar tres muy diferentes.

El primero, que denominamos evaluativo, consiste en exponer el juicio críticoque merecen las distintas dimensiones del artículo. Con esa actitud, el revisorasume esencialmente la necesidad de hacer ver al autor los aspectos que se obje-tan o que parecen discutibles o revisables. Hemos entendido que un 70% de losrevisores tienden a adoptar este estilo. Un ejemplo de este tipo de revisión podríaadoptar el siguiente tono:

“No se clarificael marco teórico adoptado......Se echa en falta una revisión actualizada....El artículo no está bien estructurado.....El método es adecuadoa los objetivosque se persiguen........”

27TABLA VII

Tareas asumidas espontáneamente por los revisores: apoyar, sugerir, clarificar

T A R E A S N R ev iso re s % (so b re lo s 5 0rev iso re s )

A P O Y A R f % (f)a

1. Recoger Méritos AL PRINCIPIO DEL INFORME: ANTES 35 70 54 41,862. Recoger Méritos durante la argumentación.: DURANTE 26 52 58 44,963. Recoger Méritos AL FINAL DEL INFORME: FINAL 11 22 17 13,17T o ta l re co g er m é r ito s (Relevancia, interés, novedoso) 43 86 129 100

S U G E R IR

1. Se proporcionan sugerencias precisas. Ejemplificar las sugerencias 22 442. Sugerir ampliar el equilibrio entre apartados 3 6Sugerencias: alternativas terminológicas más precisas 18 363. Sugerencias de mejora metodológica 13 264. Sugerencias de clarificación de conceptos. No se justifica la pertinencia psicológica 4 85. Sugerencias de estructuración según apartados y subapartados. 3 6T o ta l su g e r ir 6 3

C L A R IF IC A R

1. Se clarifican conceptos 14 282. Se clarifica el enfoque actual (frente al “arcaico”) 3 6T o ta l c la r ifica r 1 7

aSe trata de los129 argumentos de apoyoo reconocimientode méritos identificados en los informes escritos de los revisores.

El segundo estilo lo hemos denominado argumentativo, pues en él los revisoresdesplazan el acento de los juicios a los argumentos que el propio revisor sigue enel proceso de valoración. Es muy difícil trasladar a estas páginas un ejemplo real,por lo que ofrecemos un modo característico de proceder que corresponde a esteestilo.

“Si he comprendidobien, el objetivo del trabajo consiste en…Entiendo por ello, que la divi-sión que se hace en la introducción podría no reflejar con claridad el cometido perseguido.Alleer la primeraparte se tiene la impresión (o al menos esa es la que he tenido)de que se nos va ahablar de… (referencia breve al texto..) Mientras que al leer el segundo apartado (de nuevoreferencia al texto..), la impresión es más bien que únicamente se va a tratar de... Entiendo porello que el lector puede quedar confundidodesde el principioy que podría ser más eficaz admi-tir de entrada…”

Por supuesto, los argumentos conducen a ciertos juicios, pero éstos, comoquizás quede claro en el ejemplo, parecen supeditados a la validez de aquéllos. Aveces da la impresión de que el revisor entiende que los autores podrían contra-argumentar y que el juicio o valoración específica que él revisor hubiera hechoquedaría condicionada a esa hipotética contra-argumentación de los autores. Anuestro juicio, un 26% de los revisores se sitúan en esta categoría.

El tercer estilo es claramente minoritario, únicamente parece definir la laborde dos revisores. Lo hemos denominado dialógico, pues lo que en el estilo argu-mentativo se vislumbra (esto es, la posibilidad de una contra-argumentación), enéste otro se manifiesta de forma expresa. De esta manera, el autor es convocado altexto, bien asumiendo lo que aquél puede llegar a pensar en torno a lo que se ledice o bien invitándole expresamente a ofrecer su visión una vez conocida larepercusión que han tenido sus palabras.

“Quizás los autorespuedanrazonarque esta objeción (que se acabade exponery argumentar)noes tan decisiva, pues lo importante es…(se expone el posible pensamientoatribuidoa los auto-res). No obstante, la cuestión a considerares si, con la información presentada,es posible enten-der o no la diferenciaentre las dos categorías expuestas(..). En todocaso, cabeadmitirque …”

Por supuesto, los juicios son sugeridos como hipótesis y quedan en suspensocon la expectativa de que sea el propio autor quien los elabore de forma definitiva.

Es inevitable que se entienda que un estilo es mejor que otro. Pero de nuevo yaunque algunos son más elaborados, de ello no se desprende que sean mejores,pues, en parte, la actitud adoptada depende del artículo evaluado. Poco cuestapensar, en este sentido, que algunos trabajos requieren que el revisor precise susobjeciones, asegurándose de que no haya duda alguna al respecto. Otros puedensuscitar interrogantes al propio revisor, ante los cuales, sólo pueda exponer susargumentos. Finalmente, es posible que los problemas objeto de análisis admi-tan varias perspectivas y el revisor, asumiendo este hecho, se adentre en conside-rar simultáneamente la suya y la que atribuye expresamente a los autores, susci-tando una conversación encubierta con ellos (Sánchez, 1996).

Mijail Bajtin (1930 y Bakhtin, 1986) y James Wertsch (1991) dentro de sumodelo dialógico de análisis de las producciones textuales, nos enseña a tratar dedesvelar las “voces” que habitan en todo texto. Un revisor puede adoptar unpapel y una voz de “la ciencia” y dirigir su escrito a “la Revista”. Ambas voces seagigantan y el autor que recibe el informe percibe su papel de objeto evaluado yjuzgado, pero no de interlocutor. En otros casos, sin embargo, se aprecia que elrevisor, sin cambiar en absoluto el contenido objetivo del análisis —e incluso sinalterar las críticas recogidas— redacta su texto dirigiéndose ostensiblemente alautor como interlocutor “de pleno derecho”.

28

Finalmente, hemos identificado algunos recursos que emplean los revisorespara dar orden a la revisión y los hemos agrupado en categorías. En una de ellas,nos limitamos a considerar el modo como se organiza la propia revisión, en laotra, un relatorio de algunos recursos más específicos.

Organización de la revisión

Las revisiones pueden estar organizadas de diferentes modos. El más sencillode todos es, obviamente, seguir las pautas que ofrece la propia revista (este es cla-ramente minoritario, sólo un revisor lo sigue —cfr., Tabla VIII—), pero hemosencontrado otros muchos sistemas. Algunos autores siguen, con mayor o menorrigor, la lógica de la investigación científica: justificación, metodología, análisis delos resultados y de la discusión (el 16%). Otros emplean sistemas menos preci-sos: cuestiones de contenido y formales (32%), etc. En la tabla VIII adjunta figuranlos sistemas que hemos identificado y la presencia de cada uno de ellos en el totalde las cincuenta revisiones.

TABLA VIIIMarcos que utilizan los revisores para hacer el análisis de los artículos

MARCOS¿Desde dónde hacen el análisis los evaluadores? N Revisores % (sobre los 50 revisores)

M a rc o E x te rn o :

Pautas sugeridas por la revista I&A 1 2Lógica de investigación 8 16Asuntos mayores vs., menores 1 2Formal vs., contenido 16 32Totalmarcoexterno 26a 52

M a rc o In tern o :

Lógica del artículo (Contraejemplo: no es “lógica investigación”) 9 18Marco Ad hoc 20 40Listado de limitaciones 5 10Totalmarcointerno 34a 68

a: La presencia de más de 50 (los revisores) se debe a que en algún caso cabía la adscripción a más de una categoría, por lo que se computópresente en ambas (en aras de mayor información sobre los marcos utilizados por los revisores). Se ilustra esto en el anexo 1, en el que serecogen numerosos ejemplos indicando el revisor respectivo.

Como puede observarse, el orden más habitual es emplear un sistema que seadapta a las peculiaridades de cada trabajo (68%), bien sea a su lógica interna(18%), bien sea a lo que hemos denominado, marco ad hoc (40%). Ilustraremosesto con dos ejemplos.

Ejemplo 1 (revisor 16 B): El revisor (16 B) inicia el informe con un reconoci-miento de méritos, seguido de un breve resumen del artículo objeto de comenta-rio. A continuación se focaliza en el núcleo del artículo y con los propios argu-mentos del autor los va contraponiendo y evidenciando las limitaciones y contra-dicciones (de gran interés y con un estilo dialógico). Tras lo cual hace una serie desugerencias de re-escritura del artículo y de revisión en profundidad.

Ejemplo 2 (revisor 8 A): El revisor estructura el informe en dos grandes aparta-dos. El primero en torno al siguiente enunciado “Con objeto de mejorar lacomunicabilidad del informe... modificarse” en donde queda claro el propósito

29

de la revisión (la mejora de la comunicabilidad del artículo), lo que exige cam-bios. Seguidamente va explicando las cuestiones a modificar: la exposición teóri-ca, el material y el procedimiento, el análisis sobre las categorías y los resultados.Y el segundo apartado se enuncia: “como detalles de orden menor”, e incluyecuestiones relativas al planteamiento, y a la reelaboración del trabajo (es decir,que ha de ser re-escrito).

De nuevo, no deseamos hacer creer que un marco es mejor que otro (esto esespecialmente evidente si consideramos que el sistema empleado dependetambién de las características específicas del artículo que se revisa), pero nos haparecido de interés mostrar los marcos que realmente se emplean. Sería, en todocaso especialmente erróneo que se interpretara que una revisión que consisteen un listado de limitaciones es necesariamente inferior a otra que se somete a unorden explícito. Hemos hablado de la necesidad de facilitar la vida de los autores,creemos que éste es el momento de evitar complicar innecesariamente la de losrevisores.

Recursos retóricos

Entendemos por recursos retóricos aquellos que hacen transparente la mente delrevisor al autor a quien se dirige la evaluación. De esta manera el revisor no sólodice ciertas cosas, sino que muestra algún empeño en clarificar lo que él quieredecir. Así puede ocurrir respecto de la intención que anima el escrito, el ordenque se adoptará, las preferencias que el propio revisor tiene respecto de los distin-tos comentarios... No hemos querido hacer una exposición exhaustiva y noshemos centrado en los recursos más evidentes, como son:

Iniciar la revisión con un resumen en el que el revisor hace ver cuál ha sidola comprensión del artículo y desde la que se va a proceder a la revisión. Dala impresión de que con este recurso se crea un puente con los autores y unaobjetivación de la intersubjetividad alcanzada. El 46% de los revisores utili-za este recurso de resumir partes concretas del artículo, y el 60% el de resu-mir el artículo.

Un segundo recurso es el de advertir con claridad cuáles son los comentariosmás relevantes, de este modo el revisor no sólo se compromete a decir ciertascosas sino a mostrar su conciencia sobre lo que dice.

Un tercer recurso es anticipar y tematizar las objeciones o comentarios, que denuevo no sólo organizan la evaluación sino que clarifica el sentido (hay que refe-rir que el 58% de los revisores usan este recurso).

Un cuarto tiene que ver con la ilustración apelando al propio texto, y que tienepor misión la ejemplificación precisa (en página tal, párrafo cual, apartado equis,y que lo hacen el 86% de los revisores) de la objeción, comentario o sugerenciade cambio.

Y por último, un recurso consistente en hacer comentarios previos a la evalua-ción propiamente del artículo, lo que permiten enmarcarlo (el 12% de los revi-sores lo hacen).

CONCLUSIONES

Nos proponíamos presentar un análisis sistemático de las objeciones que losrevisores suelen esgrimir en sus informes de evaluación con el fin de esclarecercómo son valorados los trabajos que llegan a Infancia y Aprendizaje. En nuestra

30

intención, ese análisis debe conducir a una toma de conciencia crítica, y no tantoa una colección de normas más o menos justificadas. No obstante, ha sido inevi-table que hayamos recalado en algunos aspectos en los que hay una apreciablecoincidencia entre los revisores y que suelen determinar el curso del proceso deevaluación. Una buena manera de iniciar estas conclusiones consiste precisamen-te en retomar de forma ordenada estas sugerencias para la escritura de originales:

Formato: Parece muy conveniente adoptar un formato reconocible. En el caso de un informe deinvestigación ese formato es el siguiente: introducción que plantee y justifique el problemaque ha de tratarse, la metodología desarrolladapara abordarlo, los resultados alcanzados y ladiscusión de los mismos según el marco de interpretación expuesto en la introducción y lashipótesis derivadasdel mismo.Organización:. También puede ser oportunoque los autores anticipenel esquema organizativoquevan a seguir en el trabajo.Por ejemplo: “El artículo está organizadode la siguientemanera...”.Objetivo: Es igualmente relevante que los autores se hagan esta pregunta que se recomienda enel manual de la APA (1994): ¿cómo hacer ver desde el principio al lector lo que se quiere resol-ver en el trabajo?Objetivo específico: También conviene conectar el trabajo con sus precedentes inmediatos, lo quepuede permitir comparar sus resultados con los ya obtenidos y justificar su relevanciapoten-cial. Salvo claro está que no haya tales precedentes,en cuyo caso convieneadvertirlo.Claridad del marco teórico: Parece necesariodesarrollarcon suficiente profundidady claridad losconceptos claves relacionados con el objetivo específico del trabajo; lo que supone seleccionaraquéllosque se relacionandirectamentecon él y dan sentidoa las decisionesadoptadas..Coherencia en la introducción teórica: Resulta útil emplear algún esquema para efectuar la revisiónteórica: según enfoques, según la evolución histórica, según ciertas dimensiones…. Se esperaigualmente que los autores se pronuncien respecto del marco que se va a utilizar o al menossobre el modo como se va a utilizarel marco revisado.Consistencia: A la luz de los expuesto parece muy importante cuidar al máximo la continuidadlógica entre el objetivoque se persigue,el marco teórico que lo justifica, las hipótesis y variablescontenidasen ellas, los instrumentosy procedimientosempleadosy la discusión.Detallar . Conviene detallar el procedimiento seguido, y en ese sentido es necesariono confun-dir la exposición de los principiosque rigen un determinadoprocedimientocon la descripcióndel procedimientoen sí.Profundidad en la discusión: Puede ser útil diferenciarentre constatar los resultadosobtenidosyexplicarlos (teóricamente), parece que los revisores esperan que, si resulta factible, se hagan lasdos labores.Documentación: Se espera que los autores acrediten las afirmaciones e ideas aludiendo a lasreferenciasque las justifican.

Entendemos, naturalmente, que ese esclarecimiento no puede evitar la nece-sidad de una evaluación. Hay, al respecto, un dato que puede ser muy elocuente:es común que esos mismos revisores cuyo trabajo nos ha servido para preparar eldecálogo, se encuentren, cuando actúan como autores, con evaluaciones de sustrabajos en las que se les reclama justamente lo que ellos mismos echan en faltaen los trabajos de los demás. Y aquí no ha de verse contradicción o inconsecuen-cia alguna; pues, como es bien sabido, resulta más sencillo supervisar a los demásque a uno mismo (Vygotski dixit).

Hemos de aceptar, pues, que haya siempre alguna distancia entre lo que unoquiere decir y lo que realmente ha dicho, y entre lo que uno pretende haberdemostrado y lo que realmente ha podido demostrar. De ahí la necesidad del otro;y no de un otro cualquiera, sino de un otro distante, a quien se ha responsabiliza-do expresamente de garantizar que un determinado trabajo no sólo reúne la cali-dad necesaria, sino toda la calidad que potencialmente encierra. Elbow (1998;2000) diría que no basta con que, en una primera fase, te evalúen los escritos los‘amigos’, sino que han de evaluarte también y ulteriormente los ‘enemigos’. Dehecho, en muchas ocasiones, los autores pueden sentir que no han sido compren-didos por un determinado revisor, lo que será cierto en más de un caso, pero el

31

hecho de constatar esa incomprensión puede motivar la introducción de cambiosque, quizás no sean los solicitados, pero sí son cambios que mejoran el artículo.

Esta necesidad de evaluación requiere como contrapartida algunas garantías.En primer lugar, los autores deben tener la seguridad de que lo que se cuestionason “algunos” aspectos de “un” determinado trabajo y no a ellos como tales. Enese sentido, y puesto que queremos dar apoyo a esa cultura de evaluación, debe-mos animar a los autores y a los revisores a considerar la importancia de preservarun equilibrio entre la necesidad de ejercer un control (que, como ya hemos visto,es a todas luces indispensable —no hay ningún modelo de instrucción en com-posición escrita que no enfatice especialmente los procesos de revisión: Elbow,1998; 2000; Sorenson, 1997; Graham y Harris, 2000 a y b; o la propia APA,1994—) y la de garantizar un reconocimiento al otro (que también lo es). Algu-no de los datos ofrecidos respecto de la labor de los revisores pueden interpretarseen este sentido.

En todo caso, resulta en este punto muy conveniente mostrar que “todos”,probablemente sin excepción, hemos recibido informes críticos. Dado que esinviable ofrecer datos concretos, como editores de esta revista sólo podemosdar fe a los lectores, que eso es lo que ocurre realmente. De esta manera, la noaceptación definitiva de un trabajo no puede interpretarse como si con ellose cerrara la puerta de la revista, sino como una experiencia que permiteconocer su nivel de exigencia y utilizar esa percepción para la preparación denuevos trabajos.

Hay, además, algunos comentarios de menos entidad, pero que juzgamosrelevantes. En primer lugar, es necesario llamar la atención sobre la necesidadde cuidar los aspectos formales. Por supuesto, los autores hacen un esfuerzo tanimportante al elaborar sus trabajos que resulta comprensible que esas cuestio-nes se consideren poco menos que despreciables cuando no arbitrarias. Eso afec-ta a las citas, que si nos atuviéramos a los datos de la tabla VI, parecería un pro-blema casi inexistente (sólo el 8% de los revisores lo refieren). No obstante,debemos advertir que lo que reflejan las tablas son los comentarios de los revi-sores, en realidad muy poco propensos a descender a esos detalles. La realidad esque apenas hay artículo al que no deba requerírsele un mayor cuidado con lascitas, tarea ‘ingrata’ que requiere paciencia y dedicación (merecida por otraparte) de los editores.

No quisiéramos terminar sin hacer ver que más allá de los posibles beneficios,llamémosles inmediatos, que pueda reportar el estudio realizado, subyace nues-tra convicción de que el proceso de revisión de originales de los órganos científi-cos sólo es legítimo en la medida en que sea transparente y se base en criterios yactividades compartidas y dialogadas de la comunidad de creadores científicos.Confiamos en que se hayan leído estas páginas como un modo de plantear esteproblema y de ofrecer algún elemento concreto para propiciar el debate.

ReferenciasAMERICAN PSYCHOLOGICAL ASSOCIATION (1994). Publication Manual of the American Psychological Association

(FourthEdition). Washington,DC: American Psychological Association (11th printing1999).BAKHTIN, M. (1986). Speech genres and other late essays. En C. Emerson & M. Holquist (Eds.), Speech genres

and other late essays. Austin:University of Texas Press.BAJTÍN, M. (1930). El marxismo y la filosofía del lenguaje. Trad. española: La Habana y Buenos Aires: Nueva

Visión, 1976,bajo el título El signo ideológico y la filosofía del lenguaje, y con el seudónimo de Volosinov.BARDIN, L. (1977).L’analyse de contenu. Paris: PUF. (Trad. cast. Madrid: Akal, 1986).DEL RÍO, P. (1996).Psicología de los medios de comunicación (capítulo 12). Madrid. Síntesis.ELBOW, P. (1998).Writingwithout Teachers.New York: Oxford University Press (2nd Edit.)

32

ELBOW, P. (2000).Everyone can Write. Essays toward a hopeful theory of Writing and Teaching Writing. New York:Oxford University Press.

GARDIN, J. C. (1980).Archaelogical Constructs. Cambridge,UK: CambridgeUniversity Press.GRAHAM, S. & HARRIS, K. (2000a).Writing Development: Introduction to the special issue. Educational Psy-

chologis, 35, 1, 1.GRAHAM, S. & HARRIS, K. (2000b).The role of self-regulation and transcription skills in writing and writing

development. Educational Psychologist, 35 (1), 3-12.HAYES, J. & NASCH, J. (1996). On the nature of planning in writing. En M. Levy & S. Ransdell (Eds.), The

science of writing: theories, methods, individual differences and applications (pp. 29-55).Mahwah, NJ: LawrenceErlbaunAssociates, Inc.

KELLOGG, R. T. (1994).The Psychology of Writing. New York: Oxford University Press.KRIPPENDORF, K. (1990).Metodologías de análisis de contenido. Teoría y práctica. Barcelona: Paidós.LÓPEZ-ARANGUREN, E. (1994). El análisis de contenidos. En M. García Ferrando, J. Ibáñez y F. Alvira

(Comps.), El análisis de la realidad social. Métodos y técnicas de investigación (pp 461-492).Madrid:Alianza.SÁNCHEZ, E (1996).Los textos como una evaluación encubierta. Infancia y Aprendizaje, 75, 85-96.SORENSON, S. (1997).Student Writing Handbook. New York, NY: MacMillan.WERTSCH, J. V. (1991).Voices of the mind. Cambridge MA: Harvard University Press.WIMMER, R. D. & DOMINICK, J. R. (1994).Mass Media Research, an introduction. Belmont, CA: Wadsworth

PublishingCo.WONG, B. Y. L. (1999).Mecatognition in Writing.En R. Gallimore, C. Bernheimer, D. MacMillan, D. Spee-

ce y S. Vaughn (Eds.),Developmental perspectives on children with high incidence disabilities (pp. 183-198).Papersin honor of Barbara K.Keogh. Mahwah,NJ: Erlbaum.

WRAY, D. (1998).Literacy& awareness. London:Hodder & Stoughton. (Orig. 1994).

Extended SummaryThe present study analyses the reasons that motivate the non-acceptance of

articles received at the journal, and the type of work undertaken by refereeswhen reviewing them. The intention behind this double aim is to bring out intothe open what usually remains in the dark in order to help both authors andreferees in their work. Indeed, to make clear a process that quite probably cannever be absolutely fair, but that nevertheless should be regulated as much aspossible.

On this basis, we have analysed 50 peer reviews, corresponding to the first 25papers rejected for publication in the journal’s current period. Our analysisinvolved a detailed study of each review using a system specifically designed forthis task. With this system, examination of the grounds for objection yielded95 reasons grouped under 24 categories, and 6 headings: Overall reasons, pro-blems with the introduction, methodology, results, discussion, and, finally, for-mal problems. Apart from the specific results—the frequencies of all the resultsare given in relation to totals in different Tables—we were also interested in sho-wing the importance of some indicators and categories (e.g., consistency, rele-vance, conceptual clarity, etc.), and their significance in referees’ decision takingprocess. In addition, we have tried to illustrate with some brief examples themost frequent or relevant objections.

With respect to the second aim of our study, we have analysed referees’ work,examining the following in some detail: 1) The framework used in the review: ifthey employ the journal’s framework, that of research logic, or another ad hoc fra-mework for each article; 2) predominant styles: evaluative, argumentative, anddialogic: 3) rhetoric resources employed: recapitulation, preface, summary; and, 4)as a result, the type of task adopted: support the authors, clarify concepts, or makesuggestions.

We feel that the present analysis may provoke a collective reflection based onthis double awareness, in order to clarify the rules, more or less implicit, thatregulate referees work. In this sense, we support the need for a greater balancebetween the different tasks involved, particularly with respect to two of them:evaluation and recognition.

33

AnexoResumen de las causas de no aceptación de artículos, en función de losrevisores

A rtíc u lo s R E V IS O R Vis ió n In tro d u c c ió n M e to d o lo g ía A n á lis is y D isc u s ió n y A sp e cto s S u m asG en e ra l re su lt ad o s C o n c lu s io n e s fo rm a les to ta le s

1º REV01A 2 8 2 3 2 1 181º REV01B 4 4 3 0 1 1 132º REV02A 1 4 5 2 2 0 142º REV02B 0 0 6 2 3 0 113º REV03A 1 3 5 3 1 0 133º REV03B 1 3 1 2 3 0 104º REV04A 2 1 0 3 1 0 74º REV04B 3 7 6 5 5 1 275º REV05A 1 1 4 1 1 0 85º REV05B 2 4 7 0 2 0 156º REV06A 1 4 3 3 4 0 156º REV06B 0 2 5 1 1 1 107º REV07A 0 3 5 4 8 0 207º REV07B 0 1 2 2 6 0 118º REV08A 5 5 3 2 0 0 158º REV08B 3 3 4 2 4 1 189º REV09A 0 0 5 0 2 0 79 REV09B 0 1 2 1 3 0 710 REV10A 6 9 0 0 3 1 1910º REV10B 1 1 0 0 2 2 611º REV11A 3 1 8 2 6 1 2211º REV11B 3 1 5 3 1 0 1312º REV12A 0 3 7 4 3 1 1912º REV12B 1 1 6 2 6 0 1613º REV13A 5 9 5 3 0 1 2313º REV13B 8 9 5 2 1 1 2614º REV14A 3 2 2 0 2 0 1014º REV14B 2 5 0 1 0 0 915º REV15A 1 4 4 0 1 0 1115º REV15B 7 5 9 2 6 2 3116º REV16A 6 3 0 0 6 0 1616º REV16B 3 7 1 0 2 0 1317º REV17A 1 6 0 0 3 0 1017º REV17B 2 8 2 0 3 0 1518º REV18A 2 5 5 2 4 0 1818º REV18B 7 6 2 0 5 1 2119º REV19A 5 5 0 0 1 1 1219º REV19B 3 4 0 0 3 0 1020º REV20A 4 5 0 0 2 1 1220 REV20B 4 6 0 0 2 1 1421º REV21A 3 2 4 1 4 0 1421º REV21B 5 5 7 5 8 0 3022º REV22A 3 0 3 4 3 1 1422º REV22B 4 9 3 1 3 0 21

34

23º REV23A 5 6 6 6 3 0 2723º REV23B 7 6 8 4 6 0 3124º REV24A 2 6 4 3 1 0 1624º REV24B 2 5 3 4 2 1 1725º REV25A 7 4 6 1 3 0 2125º REV25B 3 2 7 3 2 0 17

Totales 144 204 180 89 146 20 793Media por 2,88 4,08 3,6 1,78 2,92 0,6 15,86

revisorN 50 50 50 50 50 50 50

Coincidencias 20 22 18 14 22 4(+)

Coincidencia 2 0 3 5 0 12(-)

No coincidencia 3 3 4 6 3 16% 8 8 % 8 8 % 8 4 % 7 6 % 8 8 % 6 4 % Media:

c o in c id e n ciaa 8 1 ,3 3 %

a: El cálculo de la coincidencia entre los pares de 50 revisores se hace a partir de cada uno de los 25 artículos y en cada apartado (esomismo se hace para cada categoría, pero por razones de espacio sólo se incluyen los resultados en el texto pero no en tablas detalladas). Secomputa la presencia de coincidencia (+) si ambos revisores identifican causa/s en el apartado (sin considerar el número) puesto que setrata de valoraciones cualitativas (informes escritos). También se da coincidencia (-) cuando ambos revisores no refieren ninguna causa.Sobre estos dos cómputos se calculan los porcentajes de coincidencia (%) en relación con los 50 revisores posibles. El resto serían nocoincidencias, y el porcentaje resultante sería el resto.

35