Criterios de evaluación de la actividad investigadora ...ec3.ugr.es/publicaciones/Delgado_Lopez-Cozar,_Emilio_Criterios_de... · – Agencias de evaluación: CNEAI, ANECA, ANEP,

[email protected]

EC3

Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica

http://ec3.ugr.es

Criterios de evaluación de la actividad investigadora Humanidades y Ciencias

Sociales en España

Universidad Pública de NavarraPamplona, 20 de mayo de 2008

Emilio Delgado López-CózarProfesor de Metodología de la InvestigaciónFacultad de Comunicación y Documentación

Universidad de GranadaUniversidad de Granada

[email protected]

EC3


http://ec3.ugr.es

Axioma previoHetereogeneidad de la ciencia

los campos científicos

• La naturaleza del conocimiento científico es muy diferente según– Áreas: CyT, CCSS, Humanidades

• Disciplinas: Física, Química, Economía, Derecho, Psicología– Especialidades: Psicobiología, Psicología de la educación…

Filosofía del derecho, Civil, Penal, Financiero…Fundamentos análisis económico, Contabilidad..

• Fundamentos de la investigación: qué es una investigación

• Prácticas de investigación: cómo se hace • Hábitos de comunicación: publicación e información• Procesos de evaluación: cómo se evalúa

[email protected]

EC3


http://ec3.ugr.es

La evaluación de la investigación

• Necesidad evaluación rendimiento actividad investigadora– Impacto económico y social de la ciencia– Recursos escasos– En ciencia no todos somos iguales

• Tema trascendente y polémico– Condiciona la orientación de la investigación de un país– Condiciona la promoción profesional– Condiciona la posibilidad de investigar– Otorga reconocimiento personal y social

• España en estado de excepción evaluativa– Personas, instituciones (Facultades, Departamentos…), titulaciones

(grado, posgrado, doctorado), programas, proyectos, – Agencias de evaluación: CNEAI, ANECA, ANEP, AEA, ACPUA, AQU,

ACECAU, ACUM, ACUCyL, ACSUC, ACAP, CVAEC…

[email protected]

EC3


http://ec3.ugr.es

Hetereogeneidad de la ciencia los campos científicos

CyT Sociales Humanidades

Objeto de investigaciónRealidad natural

(Objetiva / universal)Realidad humana

(Subjetiva / contextual)

Métodos de investigación Exprimentales Descriptivos / Cualitativos

Evaluación trabajos ex ante Peer Review ¿Peer review?

Evaluación trabajos ex post Impacto Juicios de valor

CONSENSO COGNITIVO

Técnicas análisis datos Cuantitativas Cualitativas

Lenguaje Matemático Lenguaje natural

Organización Grupo Individuo

Medio publicación Revistas Libros

Lenguaje publicación Inglés Lengua vernácula

J

U

R

Í

D

I

C

A

S

[email protected]

EC3


http://ec3.ugr.es

Los hábitos de comunicación científicaLos medios de publicación

5%10%

85%

10%

50%40%

10%

30%

60%

Experimentales

Revistas Libros Otros

Sociales Humanidades

[email protected]

EC3


http://ec3.ugr.es

Biomedicina

Ingenierías

Psicología

Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparingnatural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8):997-1004

[email protected]

EC3


http://ec3.ugr.es

Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparingnatural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004

Derecho

Psicología

[email protected]

EC3


http://ec3.ugr.es

59,2

42,333,7

30,627,7

27,126,6

24,122,822,7

21,821,3

49,9

0 10 20 30 40 50 60 70

Psicología

Economía

Documentacion

Derecho

Educación

Historia

Geografía

Sociología

Filosofía

Arte

Filologías

Ciencia Política

Antropología

Porcentaje citas a revistas Revistas españolas de Humanidades y Ciencias Sociales (1999-2001)

Román & Alcaín 2005

*

* 27 revistas Economia 1999-2001 (Velazquez 2003)

[email protected]

EC3


http://ec3.ugr.es

Hábitos de publicaciónPorcentaje de profesores que publican en

revistas españolas y extranjeras (2001-2002)

0

10

20

30

40

50

60

70

80

90

100P

siqu

iatr

ía

Psi

colo

gía

Ant

ropl

ogía

Arq

ueol

ogía

yP

rehi

stor

ia

Filo

logí

acl

ásic

a

Filo

logí

aes

paño

la

Urb

anis

mo

Cie

ncia

Pol

ític

a

Soci

olog

ía

Educ

ació

n

Revistas españolas Revistas extranjeras

Alcaín 2002, 2003; Román 2003

[email protected]

EC3


http://ec3.ugr.es

Valoración relevancia de las revistas españolas y extranjeras

Porcentaje de profesores (2001-2002)

0

10

20

30

40

50

60

70

80

90

100P

siqu

iatr

ía

Psi

colo

gía

Ant

ropo

logí

a

Arq

ueol

ogía

y P

rehi

stor

ia

Urb

anis

mo

Filo

logí

aes

paño

la

Filo

logí

acl

ásic

a

Did

ácti

ca d

ela

leng

ua y

liter

atur

a

Did

ácti

ca d

ela

exp

resi

ónm

usic

al


Alcaín 2002, 2003; Román 2003

[email protected]

EC3


http://ec3.ugr.es

89%

11%

59%

41%

Revistas que consideran más relevantes los profesores de

Derecho (2003)

Porcentaje de revistas (españolas y extranjeras) usadas por los profesores de Derecho para

publicar sus tres últimos trabajos (2003)


Alcaín 2004

[email protected]

EC3


http://ec3.ugr.es

SocialesSociales% citas rev. % citas rev.

esp./total esp./total citascitas

% citas rev. % citas rev. Ext. /total Ext. /total

citascitas

21,5 12,2

18,5

15,7

17,6

13,9

52,3

28,228,2

12,1

11,5

9,0

7,9

6,9

1313

Derecho

Educación

Geografía

Sociología

C. Política

Psicología

PromedioPromedio

HumanidadesHumanidades% citas rev. % citas rev.

Esp./total Esp./total citascitas

% citas rev. % citas rev. Ext. /total Ext. /total

citascitas

Historia 15,9 11,8

Arte 15,2 7,6

Filología 7,7 15,0

Antropología 8,1 13,2

Filosofía 2,8 21,3

PromedioPromedio 13,513,5 14,314,3

Porcentaje citas a revistas españolas y extranjerasRevistas españolas de Humanidades y Ciencias Sociales (1999-2001)

Román & Alcaín 2005

[email protected]

EC3


http://ec3.ugr.es

ANECACriterios evaluación actividad investigadora

profesorado

30 26

12 16

5 52 2

45 52 2

4

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Sociales y Jurídicas HumanidadesPublicaciones científicas Libros y ClCongresos Transferencia tecnologiaDirección tesis ProyectosOtros méritos

35 35

5 55 54 47 7

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Sociales y Juridicas Humanidades

Articulos y libros Congresos y otrosDirección tesis, DEAS… Proyectos y contratosTransferencia

Profesor Contratado Doctor Profesor Universidad Privada

AcreditaciónProfesor Titular de Universidad

[email protected]

EC3


http://ec3.ugr.es

ANEP / FECYT 2007Criterios de calidad de la investigación en

Humanidades

[email protected]

EC3


http://ec3.ugr.es


Humanidades

• Resultados de la investigación (65%)– Publicaciones

• Libros y capítulos de libros: Monografías, Ediciones críticas, Ediciones de documentos y corpus documentales, Traducciones, Capítulos de libros

• Trabajos publicados en revistas científicas• Trabajos publicados en actas

– Contribuciones a congresos– Bibliografías, catálogos y bases de datos

• Actividades relacionadas con la investigación (10%)– Proyectos de I+D+I– Redes temáticas, acciones integradas y proyectos internacionales– Estancias en instituciones académicas de prestigio– Dirección y secretaría de revistas científicas– Edición / coordinación de volúmenes colectivos

• Otros (25%)– Interacción con el entorno y transferencia de conocimiento: contratos, gestión…– Difusión y divulgación de la investigación y actividades de fomento de la cultura

científica: libros divulgación, conferencias…– Actividad formativa: dirección tesis, coordinación programas doctorado…– Otros méritos: premios, comités directivos asociaciones científicas…

[email protected]

EC3


http://ec3.ugr.es


Ciencias Sociales y Jurídicas

[email protected]

EC3


http://ec3.ugr.es

ANEP / FECYT 2007Criterios de calidad de la

investigación en Ciencias Sociales y Jurídicas

La valoración de historiales investigadores debe limitarse a considerar resultados de productividad investigadora, y considerar de forma crucial la producción

reciente (últimos 10 años)

• Publicaciones científicas: – Publicaciones periódicas: Revistas ISI, o criterios de calidad de publicaciones similares a

los del ISI.– Publicaciones no periódicas: calidad de la editorial, procesos de evaluación y selección de

manuscritos, e impacto, como número de citas en publicaciones relevantes; artículos en revistas ISI o similares, otras monografías de calidad y análogos.

• Señales externas de reconocimiento a la labor investigadora:– Trabajo editorial en revistas ISI o similares, revisor en revistas ISI o similares,

conferencias invitadas en reuniones científicas regulares, seminarios invitados, pertenencia a comités científicos en I+D, participación en comités de evaluación y actividades de gestión de la investigación.

• Actividades de formación de investigación– Dirección de tesis doctorales en programas de calidad (o equivalente), con especial

atención a la calidad de la producción científica derivada de las tesis.• Participación en proyectos de investigación competitivos, con

especial atención a los resultados publicados• Actividades de desarrollo (transferencia)

[email protected]

EC3


http://ec3.ugr.es

Opinión científicos españoles criterios de evaluación de la actividad investigadora para la acreditación

Sociales Juríd. HumanidadesIndicadoresPuntuación Posición

7,40 1

2

3

5

6

7

8

9

10

11

12

14

Miembro de consejo editorial en revista ISI 4,70 15 4,70 25

Libro en editorial sin reconocido prestigio 4,49 18 6,01 12

Otros artículos de revista 4,31 19 5,51 15

7,39

6,87

6,42

6,41

6,28

6,13

6,11

5,85

5,72

5,40

4,78

Puntuación Posición

Libro en editorial de reconocido prestigio 8,48 1

Artículos de revista en Journal Citation Reports (JCR) del ISI 7,14 4

Dirección de proyectos de investigación con financiación externa 7,38 2

Artículos de revista en listados nacionales similares al JCR 6,92 6

Estancias docentes y de investigación en el extranjero 6,86 7

Dirección de tesis doctorales defendidas 6,42 10

Capítulo de libro en editorial de reconocido prestigio 6,97 5

Participación proyectos de investigación con financiación externa 6,56 9

Contribución a congreso internacional 6,86 8

Director de revista en ISI 5,84 14

Dirección académica de trabajos (tesinas, DEA…) 6,12 11

Contribución a congreso nacional 5,40 16

Muestra: 401 Profesores TU y Catedráticos con 1 o 2 tramos(Buela y Sierra 2007)

[email protected]

EC3


http://ec3.ugr.es

Indicios de calidad de los librosCNEAI, ANECA, ANEP

Criterios CNEAI ANECA

Riguroso proceso de selección y evaluación de originales

Traducciones de la propia obra a otras lenguas PCDInclusión en bibliografías independientes del autor y su entorno

Obras de referencia imprescindibles en los estudios grado y postgrado HUM

Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias

JURID.

ANEP

Número de citas generadas (cantidad y calidad)

Prestigio de la editorial, los editores, la colección en la que se publica la obra

CCSS

Reseñas en las revistas científicas especializadas

Que no estén publicados por la misma institución en la que trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1

Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho)

Poseer ISBN (imprescindible)

[email protected]

EC3


http://ec3.ugr.es

Derecho y Jurisprudencia (CNEAI)– Se valorarán los estudios y trabajos que constituyan aportaciones originales

de carácter doctrinal teórico o conceptual :• Que desarrollen nuevas perspectivas del ordenamiento jurídico.• Que supongan investigaciones originales sobre la evolución histórica, social o cultural de las normas.• Que introduzcan propuestas relevantes de perfeccionamiento de las normas en relación con el sistema

jurídico español o internacional. Aquellos que aporten conocimientos e instrumentos conceptuales y analíticos para mejorar la eficacia de las normas jurídicas y el cumplimiento de los objetivos que se persiguen con ellas. Los análisis que ofrezcan soluciones a problemas de interpretación, lagunas y contradicciones del ordenamiento jurídico español o internacional.

• Los análisis de jurisprudencia que se basen en un conjunto de sentencias sobre un tema o temas conexos, que tengan por objeto esclarecer los criterios de actuación de los tribunales y su evolución, y los comentarios sobre sentencias especialmente relevantes para el entendimiento y posterior aplicación del derecho.

• Las obras generales que se reconozcan como de referencia dentro de la disciplina o supongan un progreso en la organización de un campo temático poco estructurado, siempre que se trate de su primera edición

– No se considerarán:• Los libros de texto, programas, apuntes, monografías, casos o supuestos prácticos, libros y los artículos

de divulgación profesional, artículos en revistas de información general. • Las ediciones de textos o las traducciones, salvo que estén precedidas de prólogos o estudios

preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valorable a su campo temático.

• Las meras recopilaciones legislativas, aunque incluyan anotaciones sobre disposiciones concordantes, complementarias o derogadas.

• Los comentarios de sentencias que sean una mera glosa de las mismas.• Los dictámenes y proyectos

[email protected]

EC3


http://ec3.ugr.es

Filosofía, Filología y Lingüística (CNEAI)

– Se valorarán: • Monografías que sean fruto de la investigación o de la reflexión documentada• Se considerarán como investigación las ediciones críticas, es decir las que

presentan un estudio razonado de la fijación del texto, con la correspondiente mención de las fuentes y variantes textuales.

– No se considerarán:• Libros de texto• Artículos de opinión• Obras de divulgación• Antologías o diccionarios comunes• Ediciones de textos o traducciones salvo que estén precedidas de estudios

preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valorable a su campo temático

• Las actas de congresos, que no respondan a criterios de calidad equiparables a los exigidos para las revistas científicas

[email protected]

EC3


http://ec3.ugr.es

Historia y ArteCNEAI

– Deberán reflejar claramente que son fruto de la investigación o de la reflexión documentada

– No se considerarán• Libros de texto, apuntes, obras y diccionarios de divulgación o

artículos de opinión• Ediciones de textos o traducciones salvo que estén precedidas de

estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valiosa a su campo temático

• Las catalogaciones que no conlleven estudios históricos o artísticos• Las transcripciones, si no van acompañadas de juicio crítico o

análisis histórico del documento• Los prólogos e introducciones formularios, que no superen la

condición de simples avances de la obra prologada y carezcan de interés crítico per se

• Las actas de congresos.

[email protected]

EC3


http://ec3.ugr.es

Indicios calidad revistas científicasCNEAI, ANECA, ANEP

Criterios CNEAI ANECA

Satisfacer criterios de calidad editorialSociología, Política, Educación, Economía, Geografía, Psicología, Derecho,

Historia, Filosofía, Filología, Lingüística

Clasificación alta en los listados del European Reference Index for theHumanities (ERIH) de la ESF

Filosofía, Filología Lingüística

ANEP

Se valorarán preferentemente los artículos incluidos en revistas recogidas en los “Journal Citation Reports del Social Science Citation Index” y el Science Citation Index (Institute for Scientific Information, -ISI-, Philadelphia, PA, USA)

Sociología, Política, Educación, Economía, Psicología

Inclusión de las revistas en bases de datos internacionalesSociología, Política, Educación, Economía, Geografía, Psicología: BD a

determinar por el comité asesor, Econlit, Catálogo LatindexHistoria: FRANCIS, International Bibliography of the Social Sciences (IBSS), Arts

and Humanities Citation Index y Social Science Citation Index, Bibliography ofthe History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature, etc).

Filosofía, Filología, Lingüística: Arts and Humanities Citation Index y el Social Science Citation Index y otras BD a determinar por el comité asesor, Libraryand Information Science Abstracts, Philosopher’s Index, RépertoireBibliographique, International Bibliography of Periodical Literature in Humanities and Social Sciences (IBZ), Bibliographie Linguistique/LinguisticBibliography

[email protected]

EC3


http://ec3.ugr.es

Criterios calidad revistas científicasCNEAI, ANECA, ANEP I

Criterios CNEAI ANECA ANEP

Informa sobre el proceso que emplea para la evaluación y selección de manuscritos

Cuenta con un Consejo de Redacción efectivo

Cuenta con un Consejo Asesor efectivo

Declara la periodicidad y la cumple

Utiliza el arbitraje científico en la evaluación de originales y lo cumple

Declara emplear doble anonimato en la revisión externa y lo cumple

Comunica a los autores la decisión editorial de forma motivada

Identifica los miembros de los Comités Editoriales y Científicos

Cuenta con Instrucciones a Autores detalladas

Traduce el Sumario de cada número al inglés así como el título de los artículos, las palabras clave y los resúmenes

[email protected]

EC3


http://ec3.ugr.es

Criterios calidad revistas científicasCNEAI, ANECA, ANEP II

Criterios CNEAI ANECA ANEP

Al menos el 50% de los artículos son trabajos que comunican resultados de investigación originales

Al menos el 80% de los autores son ajenos a los Comités Editoriales

Está recogida en la base de datos española del CSIC que le corresponda por su especialidad (ISOC, ICYT, IME)

Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista

La tasa de aceptación de trabajos es igual o menor al 60%

Está indexada en los JCR de las bases de datos de la Web ofKnowledge de Thompson Scientific (SCI, SSCI

Está recogida en la principal base de datos internacional de su especialidad (por ejemplo. CAB Abstracts, SociologicalAbstracts, Historical Abstracts, Econlit, PsycINFO, Philosopher`s Index, MLA, ERIC…), o en catálogo Latindex, DICE

[email protected]

EC3


http://ec3.ugr.es

• Miden la calidad informativa, del proceso y la organización editorial, y la difusión y visibilidad

• Problemas de fiabilidad– No existe información compilada y estandarizada– Puede ser recogida sin control en la observación

• Problemas de validez– Se basa en declaraciones y no en hechos

comprobados

• Sus resultados no necesariamente correlacionan con los producidos por recuentos de citas o encuestas de opinión

Análisis calidad editorial

[email protected]

EC3


http://ec3.ugr.es

• Miden la calidad percibida• Problemas de fiabilidad

– Procedimiento reactivo: posible enmascaramiento y modificación de la opinión de los encuestados (escenario, deseabilidad social, aprehensión evaluativa, actuación investigador…)

• Problemas de validez– Tasas de respuesta normalmente bajas– Sesgos en las muestras: no representativas– Tratamiento de la no respuesta

• Sus resultados suelen correlacionar con los producidos por recuentos de citas

Encuestas de opinión

[email protected]

EC3


http://ec3.ugr.es

• Miden la influencia intelectual, no la calidad• Cobertura y fuentes procesadas: los resultados son directamente

proporcionales al número y tipo de revistas procesadas.• Son un simple promedio de las citas obtenidas por los artículos de una revista.

– No son representativos del artículo medio: distribución asimétrica de las citas.

• Dependen:– Tamaño de las comunidades científicas: nº científicos– Naturaleza y tipo de la disciplina científica: básica/aplicada– Hábitos de publicación y prácticas de citación de las comunidades científicas:

nº publicaciones por autor, nº referencias por artículo..– Tipos de trabajos publicados por la revista: revisiones, artículos, cartas…– Rapidez en la publicación de las revistas (ventana de citación)– La fórmula de cálculo: numerador (citas) denominador (trabajos citables)

• Úsese el impacto observado (citas reales) y no el esperado (factor de impacto).

• Impactitis: La obsesión por ser citados conduce a malas prácticas y aviesos comportamientos. (http://www.publicationethics.org.uk)

• Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos). Deben ayudar en la toma de decisiones

La repercusión científicaLos índices de impacto

[email protected]

EC3


http://ec3.ugr.es

ÍNDICES DE IMPACTOREVISTAS ESPAREVISTAS ESPAÑÑOLAS DE CIENCIAS SOCIALES Y JUOLAS DE CIENCIAS SOCIALES Y JUÍÍRIDICASRIDICAS

[email protected]

EC3


http://ec3.ugr.es

¿Qué son?

• Índices bibliométricos– Índices estadísticos basados en recuentos de referencias

bibliográficas citadas en revistas científicas españolas a fin de medir el impacto de revistas, artículos, autores e instituciones españolas

– Convenciones internacionales: fórmula ISI– Complementarios no sustitutivos: visión nacional versus

internacional– Índices de impacto ⇒ Índices de citas

• Revistas científicas españolas• Ciencias Sociales / Ciencias Jurídicas

[email protected]

EC3


http://ec3.ugr.es

94%Revistas españolas

6%Revistas ISI

Producción española en Ciencias Sociales y Humanidades

ISOC versus ISI

1980-2004

[email protected]

EC3


http://ec3.ugr.es

Las cifras de IN-RECS/IN-RECJ

Total IN-RECS IN-RECJ

Periodo cubierto 1994- 2001-

Revistas fuente 195 130 65 (32)

Revistas con impacto calculado

924 627 297

Artículos citables 195.496 154.608 40.888

Citas 55.512 43.949 11.563

[email protected]

EC3


http://ec3.ugr.es

Metodología

1. Identificación población de revistas científicas españolas de ciencias sociales (±600) y ciencias jurídicas (± 300)

Fuentes: Latindex, Directorio español de revistas de Ciencias Sociales y Humanidades, Dialnet,

Ulrich´s, REBIUN

Etapas del proyecto

[email protected]

EC3


http://ec3.ugr.es

2. Distribución revistas por áreas de conocimientoAsegurar representación de todas las especialidades,

entendiendo por tales las reflejadas en las

ÁREAS DE CONOCIMIENTO

– Clasificaciones temáticas asignadas por las propias bases de datos: CDU, UNESCO, Ulrich´s

– Clusters temáticos obtenidos por el método de las palabras asociadas

– Opinión investigadores

– Citas revistas

Etapas del proyecto

Metodología

[email protected]

EC3


http://ec3.ugr.es

3. Selección de las revistas fuente: ¿qué y cuántas revistas seleccionar para construir el índice de citas?- ¿Por qué ser selectivos? Ley de Bradford- Número de revistas a procesar por área de

conocimiento: Tamaño del campo: número de revistas de cada campo,

tamaño literatura circulante, productividad, número de profesores

- 120 revistas = 20% población revistas españolas Ciencias Sociales

- 65 revistas / 32 revistas = 20/10% población revistas españolas Ciencias Jurídicas.

- El endiablado sistema de citación bibliográfica en Derecho (cita-nota)

Etapas del proyecto

Metodología

[email protected]

EC3


http://ec3.ugr.es

La Ley de Bradford en ISI (SCI 1988)Distribución citas-revistas

[email protected]

EC3


http://ec3.ugr.es

• 22 revistas (2%) reciben el 50% de las citas

• 72 revistas (7%) reciben el 75% de las citas

Distribución Bradford

0

5

10

15

20

25

30

35

1 37 73 109

145

181

217

253

289

325

361

397

433

469

505

541

577

613

649

685

721

757

793

829

865

901

937

973

1009

Revistas

cita

s x

mil

Revistas

La Ley de Bradford en IN-RECS (2003) Distribución citas-revistas

[email protected]

EC3


http://ec3.ugr.es

Metodología

Criterios de selección

- Pervivencia o antigüedad Variable según disciplina: 6 a 9 años

- Calidad editorial*- Empleo de un riguroso sistema de selección y

evaluación de originales- Reputación y prestigio del editor y comités editoriales

- Opinión profesores e investigadores españoles (calidad percibida)

- Impacto científico de las revistas españolas a nivel internacional*

Etapas del proyecto

* En Derecho no se han aplicado estos dos criterios

[email protected]

EC3


http://ec3.ugr.es

Servidor EC3

Linux Suse 9.2, base datos postgres,

apache, php, ...

Tablas BD

Selección de revistas fuentepor especialidades

Introducción de los artículos citables

Título, Autor….

Cindoc, Dialnet, CompludocPsicodoc, revista...

Carga en BD

Introducción de la producción de la revista por años

Cindoc, Dialnet, revista electrónica o en papel

Carga en BD

Obtención e introducción de lascitas ISI de las revistas

Carga de citas

Introducción de las citas nacionales de las revistas

Una vez al año

Una vez al año

Una vez al año

SistemáticoCarga de citas

Cálculo de impactos e indicadoresResultados en web

http://ec3.ugr.es/in-recs/http://ec3.ugr.es/in-recj/

Sistemático

[email protected]

EC3


http://ec3.ugr.es

Índice de impacto de las revistas

– Anual (INRECS: 1994- /IN-RECJ: 2001- ) y acumulativo (5 años/histórico: 9 y 13)

– Indicadores: artículos, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, curva de envejecimiento, tasa de autocitación, índice de coautoría.

– Información: Triángulo de citación, evolución de la revista (cuartiles), revistas citadas, artículos citados por la revista, artículos más citados de la revista, especialidades citantes, instituciones citantes, autores citantes, revistas citantes, artículos citantes, perfil bibliométrico: comparación revista / especialidad.

Prestaciones I

[email protected]

EC3


http://ec3.ugr.es

• Artículos más citados de la especialidad– Indicadores: total de citas, citas nacionales e ISI.– Información: rtículos citados y citantes

• Autores más citados de la especialidad– Indicadores: artículos publicados en revistas españolas, artículos

publicados revistas primer cuartil, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, tasa de autocitación, índice H, índice de coautoría.

– Información: relación de coautores; autores citados y autores citantes; filiación autores con los que publica, filiación de los que cita (citados) y de los que le citan (citantes); revistas en las que publica, revistas que cita y que le citan; especialidades en las que publica, especialidades que cita y que le citan; años en los que publica, años que cita y que le citan; perfil bibliométrico: comparación autor / especialidad .

• Instituciones más citadas de la especialidad– Indicadores: artículos publicados en revistas españolas, artículos

publicados revistas primer cuartil, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, tasa de autocitación, índice H, índice de coautoría.

– Información: relación de instituciones con quien colabora (publica); instituciones citados y autores citantes; artículos más citados de la institución; artículos citados por la institución y artículos citantes; revistas en las que publica, revistas que cita y que le citan; años en los que publica, años que cita y que le citan; perfil bibliométrico: comparación institución / especialidad.

Prestaciones II

[email protected]

EC3


http://ec3.ugr.es

Impacto revistas españolas de Ciencias Sociales y Jurídicas

2002-2006

• 90 revistas (10%) concentran el 65% de las citas.• 180 revistas (20%) concentran el 80% de las citas• El 30% de las revistas han sido incapaces de

obtener una sola cita en cinco años.• El 59% de las revistas obtuvieron 5 citas en cinco

años (1 por año) • El 90% de las citas proceden de revistas españolas• Sólo el 26% de los artículos son citados• El número medio de citas por artículo es de 0,3

[email protected]

EC3


http://ec3.ugr.es

Revistas españolas de Ciencias Sociales y Humanas:Valoración integrada e índice de citas

[email protected]

EC3


http://ec3.ugr.es

• Bases de DatosSe presentan las bases de datos internacionales en las que la revista estárecogida.

• Índice Valoración A+BValoración de la revista en función de su contenido científico, a juicio del profesorado universitario y personal investigador del área:

• Índice Impacto Medio (1999-2003)• Criterios Latindex• Evaluadores Externos

Los originales son informados por expertos externos a la entidad editora de la revista, antes de sen aceptados por el Consejo de Redacción.

• PeriodicidadCuando sus ejemplares se editan con un plazo que no supere el doble del anunciado

• Apertura exterior del Consejo Editorial o de RedacciónAl menos un tercio (33%) de los miembros de su Consejo Editorial pertenece a instituciones diferentes a la entidad que edita la revista.

• Apertura exterior de los autoresAl menos el 50% de ellas son de autores cuyas instituciones de trabajo son ajenas a la entidad editora de la revista

¿Qué es?

[email protected]

EC3


http://ec3.ugr.es

Parámetros de calidad Puntuación máxima

1 Años vida de la revista 102 Cumplimiento de la periodicidad 133 Criterios Latindex 134 Revisores externos 165 Índice A + B 166 IIM 167 BBDD 16

Total 100

1. Años de vida de la revista

20 años o más = 10 puntosde 10 a 19 años = 5 puntosde 5 a 9 años = 3 puntos

2. Cumplimiento de la periodicidadSí cumple = 13 puntosNo cumple = 0 puntos

3. Criterios Latindex25 criterios o más = 13 puntosde 20 a 24 criterios = 9 puntosde 15 a 19 criterios = 5 puntosmenos de 15 criterios = 0 puntos

4. Revisores externos Sí cuenta con revisores externos = 16 puntosNo cuenta con revisores externos = 0 puntos

5. Índice A + B (Índice A+B x 16)/100Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos

Tipo de base de datos A B C SD

Especializada del área 6 3 1,5 0,75

Especializada en otra área 3 1,5 0,75 0,35

Multidisciplinar 6 3 1,5 0,75

7. Bases de Datos

[email protected]

EC3


http://ec3.ugr.es

Las cifras de RESH

Total

Revistas valoradas 939

Revistas citantes 208

Período cubierto para las citas 1999-2003

[email protected]

EC3


http://ec3.ugr.es

Subproducto de RESH elaborado para la ANECAIndicadores:

Bases de Datos, Periodicidad, Evaluadores externos, Apertura consejo editorial, Apertura revista

[email protected]

EC3


http://ec3.ugr.es

Sistema de evaluación integrada de

revistas españolas

OPINIÓN PARES

CALIDAD EDITORIAL

ÍNDICES DE

IMPACTO

CNEAIANEP

Agencias autonómicas

ANECA

EC3


http://ec3.ugr.es

Futuro

Plan Nacional I+D+I (2007-2009). SEJ2007-68069-CO2-01/SOCI

[email protected]

EC3


http://ec3.ugr.es

Catálogo LatindexSistema Regional de Información en Línea para

Revistas Científicas de América Latina, el Caribe, España y Portugal

Selección de revistas que han sido clasificadas conforme la aplicación de una serie de criterios de calidad editorial probados y convenidos por el Sistema Latindex

[email protected]

EC3


http://ec3.ugr.es

Las cifras del Catálogo Latindex

Total

Período cubierto 2002-

Arte y Humanidades 511

Ciencias Sociales 1.962

Revistas incluidas 3.098

Revistas españolas 1.077

[email protected]

EC3


http://ec3.ugr.es

Características básicas

1 Mención del cuerpo Editorial

2 Contenido

3 Antigüedad mínima 1 año

4 Identificación de los autores

5 Lugar de edición

6 Entidad editora

7 Mención del Director

8 Mención de la Dirección

Recepción y aceptación de originales

17

Afiliación de los autores16

Afiliación institucional de los miembros del consejo editorial

15

Miembros del consejo editorial14

Membrete bibliográfico en cada página

13

Membrete bibliográfico al inicio del artículo

12

Tabla de contenidos (Indice)11

Mención de periodicidad10

Páginas de presentación9

Características de presentación de la revista

Criterios y metodología de evaluaciónPara ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista

[email protected]

EC3


http://ec3.ugr.es

Características de los contenidos

26 Contenido original

27 Instrucciones a los autores

28 Elaboración de las referencias bibliográficas

29 Exigencia de originalidad

30 Resumen

31 Resumen en dos idiomas

32 Palabras clave

33 Palabras clave en dos idiomas

Cumplimiento de periodicidad25

Servicios de información24

Apertura editorial23

Autores externos22

Evaluadores externos21

Sistema de arbitraje20

Definición de la revista19

ISSN18

Características de gestión y política editorial

Criterios y metodología de evaluación II

[email protected]

EC3


http://ec3.ugr.es

ERIH European Reference Index for the Humanities

• Listas de buenas revistas europeas de investigación en Humanidades

• Creación paneles de expertos en 15 disciplinas

• Criterios– La selección de los artículos debe basarse en una

política de revisión objetiva (peer-review)– Cumplimiento normas básicas de publicación

• ISSN• Periodicidad: puntualidad en la aparición• Normalización referencias bibliográficas• Dirección completa filiación autores...

[email protected]

EC3


http://ec3.ugr.es


• Categoría A (10-25% de todos los títulos): – Nivel muy alto de internacionalidad– Alta reputación entre los investigadores de un campo– Regularmente citada en todo el mundo

• Category B:– Nivel medio de internacionalidad– Buena reputación entre los investigadores de un campo

• Category C:– Publicaciones europeas– Publicaciones de nivel local o regional– Audiencia local o regional pero con citas fuera de su país de

publicación

Internacionalidad: Procedencia autores y lectores de ámbito internacional, elevado control del contenido científico (peer review), amplio consenso en el campo sobre su estatus y visibilidad internacional, comité editorial internacional, muy selectivo en la publicación, estricta puntualidad en la publicación

[email protected]

EC3


http://ec3.ugr.es


• Marzo de 2007: 7 listas publicadas (Anthropology, Gender Studies, History and Philosophy of Science, Linguistics, Musicology, Philosophy, Religious Studies and Theology)

• Junio de 2007: 4 listas (Archaeology, Classical Studies, History, Pedagogical & Educational Research)

• Octubre 2007: 4 listas (Art & Art History, Literature, Oriental & African Studies, Psychology)

[email protected]

EC3


http://ec3.ugr.es

European Reference Index for the HumanitiesAlgunos resultados

España Principales paise

Arqueología 10 2,4 UK (20%), Finlandia (10,5), Dinamarca (10)

Estudios clásicos 23 9,1 Italia (26,3), Dinamarca (13,5), Francia (9,6)

Hª y Filosofia de la ciencia 8 4,2 UK (20,5), USA (18,1), Holanda (13,9)

Filosofia 11 3,6 UK (16,7), USA (15,7), Holanda (14,7), Dinamarca (12,7)

[email protected]

EC3


http://ec3.ugr.es

Las bases de datos de Thomson Scientific

• Productor: Thomson Scientific (antiguo ISI)• WOS (Web of Science): Resultado de la unión de tres bases de datos bibliográficas

• Science Citation Index (SCI). 1945-• Social Science Citation Index (SSCI) 1956-• Arts & Humanities Citation Index (A&HCI) 1975-

• 9.000 revistas en el WOS• 1 millón artículos/año. 35 millones desde 1900 hasta hoy• 25 millones de referencias bibliográficas/año

[email protected]

EC3


http://ec3.ugr.es

Lagunas bases de datos ISI

• Sesgo a favor de las ciencias básicas y experimentales:• 61% Ciencia y Tecnología• 21% Ciencias Sociales• 18% Humanidades

• Sesgo a favor de las publicaciones anglosajonas ♠• Infrarepresentación de la ciencia española

• No indiza ninguna revista de las 323 revistas españolas de Ciencias Jurídicas • Indiza sólo 12 de las 600 revistas científicas españolas de Ciencias Sociales

[email protected]

EC3


http://ec3.ugr.es

España en el Web of Science

Revistas Españolas WOS

22

31

72

0

10

20

30

40

50

60

70

80

>1995 >2000 >2007

Años

Rev

ista

s

Trabajos Españoles WOS

86788

127764

172435

020000400006000080000

100000

120000140000160000180000200000

>1992-96 >1997-01 >2002-06

Periodos

Trab

ajos

[email protected]

EC3


http://ec3.ugr.es

H. Moed 2007Metrics for the Humanities?

How do existing and emerging systems deal with Humanities?

The future of research assessment exercises lies in the intelligent combination of metrics and peer review

ERIH Stakeholder meeting: “Making quality visible: A European Reference Index for the Humanities (ERIH) to better access and assess European Humanities research”. European Science Foundation (ESF) / EC3: Evaluación de la ciencia y de la comunicación científica. Universidad de Granada. Granada 18-20 November 2007.

[email protected]

EC3


http://ec3.ugr.es

Universidades públicasDistribución porcentual de los profesores numerarios por tramos

de investigación y grandes áreas (1989 – 2005)

Nuncapresentado

Evaluado yno concedido

Total sintramos

HUMANIDADES 22 10 32

CIENCIAS SOCIALES Y JURÍDICAS 39 14 53

CIENCIAS EXPERIMENTALES 17 7 24

CIENCIAS DE LA SALUD 27 13 40

TECNOLOGÍA E INGENIERÍA 46 10 56

NACIONAL 31 11 42

Fuente de datos: CNEAI

[email protected]

EC3


http://ec3.ugr.es

Universidades públicasDistribución porcentual de los profesores numerarios por tramos

de investigación y campos científicos (1989 – 2005)

Fuente de datos: CNEAI

Nunca presentado

Evaluado y no concedido

Total sin tramos

MATEMÁTICAS Y FÍSICA 29 8 37QUÍMICA 5 5 10BIOLOGÍA CELULAR Y MOLECULAR 2 3 5CIENCIAS BIOMÉDICAS 27 14 41CIENCIAS DE LA NATURALEZA 13 10 23INGENIERÍAS Y ARQUITECTURA 45 10 55CIENCIAS SOCIALES, POLÍTICAS, DEL COMPORTAMIENTO Y DE LA EDUCACIÓN

38 18 56

CIENCIAS ECONÓMICAS Y EMPRESARIALES 50 14 64DERECHO Y JURISPRUDENCIA 18 11 29HISTORIA Y ARTE 20 9 29FILOSOFÍA, FILOLOGÍA Y LINGÜÍSTICA 20 10 30

Documents

Criterios de evaluación de la actividad investigadora ...ec3.ugr.es/publicaciones/Delgado_Lopez-Cozar,_Emilio_Criterios_de... · – Agencias de evaluación: CNEAI, ANECA, ANEP,