Índices de citas, factor de impacto e indicios de calidad (2014)

Preview:

DESCRIPTION

Presentación utilizada en el curso sobre Índices de citas, factor de impacto en indicios de calidad del IUCE año 2014

Citation preview

ÍNDICES DE CITAS, FACTOR DE IMPACTO E INDICIOS DE CALIDAD EN CIENCIAS SOCIALES Y HUMANIDADES

(2014)Francisco José Sáenz de Valluerca López

Biblioteca Francisco de Vitoria

vallu@usal.es

http://campus.usal.es/vito

InVito: http://diarium.usal.es/vito/

: @bivito

INDICIOS

DE CALIDAD

CRITERIOS ANECA: PROFESOR CONTRATADO Y AYUDANTE DOCTOR (Ciencias Sociales y jurídicas)

5%

9%

4%

12%

9%

9%

5%

5%

Libros y capítulos de libro 12%

Artículos científicos

30%

CRITERIOS ANECA: TITULAR DE UNIVERSIDAD (Ciencias Sociales y Jurídicas)

4%

2%4%

26%

8%

3%

3%

5%

5%

40% Publicaciones científicas

CRITERIOS ANECA: CATEDRÁTICO DE UNIVERSIDAD (Ciencias sociales y jurídicas)

6%3%3%

22%

7%

3%

3%

10%

43% Publicaciones

científicas

ANECA:

• Programa PEP: Principios y orientaciones para la aplicacion de los criterios de evaluación (2007)

• Programa Academia: Principios y orientaciones para la aplicación de los criterios de evaluación (2008)(?)

•CNEAI:

• Resolución de 15 de noviembre de 2013, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación. (2013)

ANEP: • Criterios de evaluación de la I+D en Ciencias Sociales (2007) en Humanidades (2007)

ACSUCYL:• Orientaciones sobre la evaluación previa del profesorado contratado y del profesorado de las universidades privadas en posesion del título de doctor. (2013)

CRITERIOS DE EVALUACIÓN

• PEP: • Artículos: Preferentemente JCR, otras bases de datos SCI, SSCI, AHCI, Latindex, DICE y presencia en bases de datos.• Libros, etc.: ISBN, prestigio editorial, reseñas, traducciones.

• ACADEMIA:• Artículos: JCR o equivalentes, otras bases de datos; DICE. Para CC.SS: Latindex, DICE. Para Ciencias Jurídicas: DICE. Para Artes y Humanidades: presencia en bases de datos• Libros, etc.: ISBN, prestigio internacional y nacional,

• CNEAI:• Artículos: JCR, SCOPUS, ERIH, IN-RECS, DICE, FECYT, Bases de datos, Criterios formales Apéndice I• Libros, etc.: Citas recibidas, prestigio editorial, reseñas, traducciones

• ANEP: • Artículos: para CC.SS: ISI (JCR) o similares. Para Humanidades: criterios formales• Libros: Calidad editorial, citas recibidas

• ACSUCYL: • Artículos: JCR, ERIH, CARHUS+, SCOPUS, IN-RECS, Latindex, DICE, otras bases de datos

JCR

SCOPUS

DICE

LATINDEX

RESH

IN-RECS

CARHUS...

LA COMUNICACIÓN DE LOS RESULTADOS

FORMA PARTE DE LA INVESTIGACIÓN

Indicadores para la evaluación de la calidad:

- “CLÁSICOS” (comunicación científica tradicional):

• BIBLIOMÉTRICOS (basados en análisis de citas)• FORMALES (basados en características externas de las

revistas)• OPINIÓN DE EXPERTOS (encuestas)• MIXTOS (combina criterios anteriores)

- ALTMETRÍAS (incorporan la comunicación “Web 2.0”)

ANÁLISIS DE CITAS

• Web of Science• Scopus, Google Scholar, CiteSeerx, GetCITED, SciELO• In-Recs, In-Rech, In-Recj , DICE

INDICADORES BIBLIOMÉTRICOS• Nº DE CITAS• FACTOR DE IMPACTO• FACTOR DE IMPACTO A CINCO AÑOS• ÍNDICE DE INMEDIATEZ• VIDA MEDIA CITADA• VIDA MEDIA CITANTE• EIGEN FACTOR• INFLUENCIA DEL ARTÍCULO• ÍNDICE H • ÍNDICE G• SCIMAGO JOURNAL RANK (SJR)• SNIP (Source Normalized Impact per Paper)

¿Quién calcula el factor de impacto?• Science Citation Index (SCI)• Social Science Citation Index (SSCI) • Arts and Humanities Citation Index (AHCI)• Conference Proceedings Citation Index- Science (CPCI-S) • Conference Proceedings Citation Index- Social Science & Humanities

(CPCI-SSH) –• Book Citation Index-Science• Book Citation Index-Social Sciences & Humanities• Current Chemical Reactions • Index Chemicus (IC)• Biological Abstracts• BIOSIS Citation Index• BIOSIS Previews• CABI: CAB abstracts and Global Health• Chinese Science Citation Database• Current Contents Connect• Data Citation Index• Derwent Innovation Index• FSTA• Inspec• Medline• Scielo• Zoological Record• Journal Citation Reports (JCR)• Essential Science Indicators (ESI)• Incites• Endnote

FACTOR DE IMPACTO

• Es la media de veces que los artículos de una revista publicados en los dos años anteriores, han sido citados en el año seleccionado.

• Se calcula dividiendo el número de citas recibidas en el año seleccionado a artículos de los dos años precedentes, por el total de artículos citables publicados en los dos años precedentes

FACTOR DE IMPACTO

Nº de citas recibidas (año) por artículos publicados (dos años anteriores)

FI (año) =Nº de artículos citables publicados (dos años anteriores)

OTROS INDICADORES JCR

• Factor de impacto a cinco años• Factor de inmediatez• Vida media citada• Vida media citante• Cuartil• Eigenfactor• Influencia del artículo

INDICADORESWeb of Science

• Nº de citas por autor/artículo

• Índice H

ÍNDICE H (de Hirsch)

• Un autor alcanza un índice H = X cuando ha publicado al menos X artículos que han obtenido al menos X citas cada uno

• Se obtiene ordenando los artículos por orden descendente de nº de citas recibidas. El índice H será el último número de orden que sea igual o menor que el número de citas

H = 7

ÍNDICE G (de Egghe)

Dado un conjunto de artículos ordenados por orden decreciente del número de citas recibidas, el índice g es el número más grande tal que los primeros g artículos juntos han recibido al menos g2 citas

• Compilación de estadísticas de rendimiento científico y tendencias científicas

SCIMAGO JOURNAL RANK

SCIMAGO JOURNAL RANK

• SJR es una medida del impacto, influencia o prestigio de una revista. Expresa la media de citas ponderadas recibidas en el año seleccionado por los artículos publicados en la revista durante los tres años anteriores.

SCOPUS

• Nº de citas por artículo

• SNIP

• Índice H

Sesgos:

• Sesgo a favor de la ciencia básica, en general y hacia disciplinas como la Física, Química, Matemáticas, Biología, Farmacología y Ciencias Médicas, en particular

• Sesgo a favor de la ciencia producida en países anglosajones. España solo tiene en torno a un 1% de las revistas de WOK

• Sesgo a favor de las publicaciones en lengua inglesa (el 95%)

DISTRIBUCIÓN POR PAÍS DE PUBLICACIÓN

World Bank’s 2005 World Development Indicators

• La categoría “LAW” de JCR contiene 1 revistas españolas (de 138). Solamente desde 2009, y en el 4º cuartil.

• La categoría “LAW” de SJR contiene 7 revistas españolas (de 294)

Sesgos

1. La relación entre impacto y calidad es problemática2. Los editores de las revistas pueden manipular e inflar

artificialmente el FI3. Sesgo a favor de los artículos de revisión frente a los de

investigación4. Sesgo a favor de revistas con pocos artículos.5. Algunos items (cartas al director, comentarios…)

cuentan en el numerador (citas), pero no en el denominador (artículos) inflando el FI

6. La dilación en la publicación puede incrementar el FI7. Thomson y Elsevier son juez y parte.8. No se puede replicar el FI utilizando los datos

disponibles públicamente.

… además

9. La tasa de citación no es igual en todas las disciplinas y subdisciplinas

10. La ventana de 2 años penaliza las contribuciones duraderas11. La distribución de citas/artículos no es normal, se debería usar

la moda o la mediana, pero no la media12. La relación entre la calidad de los artículos y el FI se está

diluyendo desde la publicación de revistas electrónicas.13. El factor de impacto se refiere a la revista, no al artículo ni al

investigador14. Hay otros indicadores que evalúan directamente el artículo o

al investigador

… además

• Prácticamente la totalidad de los investigadores españoles de ciencias jurídicas publican en revistas españolas

• Entre el 70% y el 90% de las citas que reciben revistas españolas en WOK proceden de revistas españolas

• Los trabajos originados en el seno de las Ciencias Jurídicas atraen fundamentalmente la atención de los entornos donde los descubrimientos se producen. Su destino es el consumo de las comunidades científicas nacionales ya que es una investigación muy influenciada por las peculiaridades culturales, donde prima lo contextual, predominan los problemas de corte local y se adopta una orientación aplicada.

Conclusión

• Ni WoS ni SCOPUS recogen adecuadamente la producción científica española en Ciencias Sociales y Humanidades

Scielo• Indexa sólo unas pocas revistas españolas de

medicina• Sesgo por países (Brasil)• Sesgo por materias (Ciencias de la salud)

• Google Scholar es un motor de búsqueda que indexa el texto completo de literatura científica incluyendo la mayoría de las revistas electrónicas revisadas por pares, informes técnicos, preprints, libros, páginas web académicas…

• También extrae las citas y nos proporciona indicadores

• Permiten a los autores realizar el seguimiento de las citas que reciben sus artículos.

• comprobar quién cita sus publicaciones, • crear un gráfico de las citas a lo largo del tiempo,• calcular varios tipos de estadísticas sobre las

citas: índice h • hacer que el perfil sea público para que pueda

aparecer en los resultados de Google Académico cuando los usuarios busquen al autor

GOOGLE SCHOLAR METRICS

• Ofrece una clasificación de las primeras 100 revistas del mundo por idioma de publicación, según el índice h de las revistas en los últimos 5 años.

• En inglés las 20 primeras por disciplinas y subdisciplinas

H Index Scholar es un índice bibliométrico que pretende medir el rendimiento de la producción académica de los profesores e investigadores de universidades públicas españolas de Humanidades y Ciencias Sociales a partir del recuento de sus publicaciones y de las citas bibliográficas que estas han recibido a través de Google Scholar.

ÍNDICE H DE LAS REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JURÍDICAS SEGÚN GOOGLE SCHOLAR (2002-2011)

ÍNDICE H DE LAS REVISTAS CIENTÍFICAS ESPAÑOLAS SEGÚN GOOGLE SCHOLAR METRICS (2008-2012)

Son índices bibliométricos elaborados a partir del recuento de citas con el fin de determinar la relevancia, influencia e impacto científico de las revistas españolas en Derecho (IN-RECJ), Ciencias Sociales (IN-RECS) así como de sus autores, e instituciones.

Los elabora el Grupo de investigación EC3 Evaluación de la Ciencia y de la Comunidad Científica (Universidad de Granada)

In-recj, in-recs e in-rech dejan de actualizarse en 2014

• Se elabora con las referencias bibliográficas de 64 revistas de 11 especialidades del derecho

• Calcula el impacto de 340 revistas

• Desde 2001

• Ofrece gran cantidad de indicadores bibliométricos para cada revista, entre ellos el índice de impacto.

• Se ofrece un listado por especialidades de los trabajos más citados en la base de datos, con indicación de los trabajos citadores y citados.

• De los autores se ofrece un listado por especialidades de los autores más citados en la base de datos, con indicación de los trabajos citadores y citados.

• De las instituciones se ofrece un listado por especialidades de las instituciones más citadas en la base de datos, con indicación de los trabajos citadores y citados.

• Se elabora con las referencias bibliográficas de 154 revistas de las principales disciplinas de ciencias sociales

• Calcula el impacto de 761 revistas

• Desde 1994

• Ofrece gran cantidad de indicadores bibliométricos para cada revista, entre ellos el índice de impacto.

• Se ofrece un listado por especialidades de los trabajos más citados en la base de datos, con indicación de los trabajos citadores y citados.

• De los autores se ofrece un listado por especialidades de los autores más citados en la base de datos, con indicación de los trabajos citadores y citados.

• De las instituciones se ofrece un listado por especialidades de las instituciones más citadas en la base de datos, con indicación de los trabajos citadores y citados.

- Muestra la tasa de citación 2004-2008 para revistas de humanidades elaborado por EPUC

- El total de revistas citantes fue de 417, lo que representa el 20% del universo de revistas españolas de Humanidades, Ciencias Sociales y Jurídicas. De ellas 184 corresponden a humanidades a Humanidades.

Índice de citas de revistas y actas de congreso españolas de historia moderna, elaborado entre 2003 y 2006

• BIBLIOMÉTRICOS (basados en análisis de citas)

• FORMALES (basados en características externas de las revistas)

• OPINIÓN DE EXPERTOS

• MIXTOS (combina criterios anteriores)

Indicadores para la evaluación de la calidad:

CRITERIOS DE SELECCIÓN DE REVISTAS THOMSON REUTERS

• Puntualidad• Seguimiento de las convenciones editoriales internacionales (títulos de

revista informativos, títulos de artículos completamente descriptivos y resúmenes de autor, información bibliográfica completa de todas las referencias citadas e información completa de la dirección de cada autor.

• Texto en inglés• Revisión por pares• Contenido• Diversidad internacional de autores, editores y comité editorial• Análisis de citas

[Revistas regionales]

Garfield, E., "How ISI Selects Journals for Coverage: Quantitative and Qualitative Considerations," Current Contents, May 28, 1990.

LATINDEX

• Latindex es un sistema de información que proporciona datos sobre las revistas académicas que se publican en Iberoamérica y el Caribe. Además, ofrece datos útiles para el análisis y evaluación de las revistas de la región.

• Surge en 1995 en la UNAM (Universidad Nacional autónoma de Mexico) y se convierte en una red de cooperación regional a partir de 1997.

• Su objetivo es difundir, hacer accesible y elevar la calidad de las revistas académicas editadas en la región, a través del trabajo compartido

• Cubre todas las disciplinas divididas en siete grandes grupos: artes y humanidades, ciencias agrícolas, ciencias de la ingeniería, ciencias exactas y naturales, ciencias médicas, ciencias sociales, multidisciplinarias

PRODUCTOS LATINDEX

Actualmente Latindex ofrece tres bases de datos:

Directorio, con datos bibliográficos y de contacto de todas las revistas registradas

Catálogo, que incluye únicamente las revistas que cumplen los criterios de calidad editorial diseñados por Latindex

Enlace a Revistas Electrónicas, que permite el acceso a los textos completos en los sitios en que se encuentran disponibles.

Latindex establece unos criterios de calidad que evalúa en las revistas que incluye en el catálogo.

CRITERIOS LATINDEX

• REVISTAS IMPRESAS (33 criterios)

• Características básicas

• Características de presentación de la revista

• Características de gestión y política editorial

• Características de contenido

• REVISTAS ELECTRÓNICAS (36 criterios)

• Adapta a las revistas electrónicas los criterios de las revistas impresas

EUROPEAN REFERENCE INDEX FOR THE HUMANITIES (ERIH)

-Surge para poner en valor la investigación científica en Humanidades, frente a las bases de datos americanas centradas en ciencias aplicadas. Se centra en la visibilidad y difusión de las revistas.

2007-2008:

- Se valoran 14.000 revistas europeas de humanidades

- Se dividen en 14 áreas temáticas. Para cada una se establece un panel de expertos.

- Se publica la lista ERIH inicial.

ERIH

2008-2014

-Se establece un mecanismo de feedback para que editores, autores, entidades… proporcionaran información sobre las revistas.

-En 2011 se publican las listas ERIH revisadas.

-En 2014 se transfiere el mantenimiento de ERIH al Norwegian Social Science Data Service que anunciará el plazo para la aceptación de nuevas revistas en el primer semestre de 2014

ERIH

Criterios básicos de inclusión:

-Política de selección de artículos (peer-review)

-ISSN

-Puntualidad

-Identificación del Comité editorial

-Información bibliográfica completa de las referencias citadas

-Dirección completa de cada autor.

ERIH

CATEGORÍAS ERIH:

NATional (NAT): revistas europeas con importancia académica reconocida entre los investigadores de la disciplina dentro de un grupo determinado (generalmente lingüísticamente); citadas ocasionalmente fuera del país de edición, aunque su público es la comunidad académica local.INTernational (INT): revistas europeas y no europeas con importancia académica internacional reconocida por los investigadores en los respectivas disciplinas, y que son regularmente citadas en todo el mundo. Tiene dos subcategorías según los criterios de influencia y visibilidad:INT1: revistas internacionales con alta visibilidad e influencia entre investigadores en las diversas disciplinas en distintos países; regularmente citados en todo el mundo.INT2: publicaciones internacionales con visibilidad e influencia significativas en las diversas disciplinas en distintos países W: Revistas que inician su publicación hace menos de tres años.

ERIH

DIFUSIÓN Y CALIDAD EDITORIAL DE LAS REVISTAS CIENTÍFICAS

ESPAÑOLAS (DICE)

DICE tiene el objetivo de facilitar el conocimiento y la consulta de algunas de las características editoriales de las revistas españolas de Humanidades y Ciencias Sociales y Jurídicas más estrechamente ligadas a la calidad, ofreciendo una serie de indicadores para cada revista.

ANECA utiliza esta base de datos como referencia de calidad de las publicaciones españolas, en sus procesos de evaluación de profesorado.

La elabora el grupo de investigación “Evaluación de publicaciones científicas en Ciencias Sociales y Humanas” (EPUC) del CSIC.

• INDICADORES DICE:

• Valoración de la difusión internacional (presencia en BBDD)

•Visibilidad alta (>12), media (6-11), baja (<5)

• Internacionalidad de las contribuciones (%)

• Apertura exterior de los autores

• Existencia de evaluadores externos

• Criterios LATINDEX cumplidos

• Categoría ANEP (A+, A, B, C)

• Categoría ERIH

• Categoría CARHUS

…pero DICE cesa su actividad en 2013¿?

REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y HUMANIDADES (RESH)

• RESH (Revistas Españolas de Ciencias Sociales y Humanidades) es un sistema de información que integra indicadores cualitativos y cuantitativos de calidad para las revistas científicas españolas de Ciencias Sociales y Humanidades:

• Indicadores de calidad editorial (CNEAI -19, ANECA -22, LATINDEX)

• Difusión (Presencia en bases de datos)

• Opinión de expertos (encuesta 2009). ICE: Indicador de calidad según expertos

• Impacto: tasa de citación (CC. SS: 3 años; Humanidades: 5 años). 417 revistas fuente.

•RESH ofrece un retrato estático de las revistas españolas de Humanidades y Ciencias Sociales

• Elaborado por EPUC + EC3

• Convocatoria bienal para obtener el sello de calidad de FECYT durante 3 años

• Tienen que superar una serie de criterios • Listado provisional 2013

CARHUS Plus+

Es un sistema de clasificación de revistas científicas de los ámbitos de CCSS y Humanidades que se publican a nivel local, nacional e internacional. Su finalidad es contribuir a la evaluación de la investigación que se lleva a cabo en el sistema científico y universitario catalán con la máxima objetividad.

Lo desarrolla AGAUR (Agència de Gestió d’Ajuts Universitaris i de Recerca)

CARHUS Plus+

• Clasifica las revistas en cuatro niveles: A, B, C, D.

• REVISTAS A: » Presentes en la WOS» ICDS > 9,5» Revistas de catalanística con buena puntuación

• REVISTAS B, C y D:– ICDS (50%)– FORMATO (25%): (Cumplimiento de la periodicidad, Instrucciones a

los autores, afiliación de los autores, Palabras clave, Resumen en inglés)

– SISTEMA DE REVISIÓN (12,5%)– COMITÉ EDITORIAL (12,5%)

CARHUS Plus+

Es un indicador que mide la difusión de las revistas en las bases de datos científicas:

a) 3 puntos: títulos presentes en 7 bases de datos internacionales de índice y resumen de carácter multidisciplinar sobre CC.SS. y humanidades

b) 3 puntos: títulos presentes en bases de datos de carácter especializado.c) Máximo de a + b = 5 puntos.d) 3,5 puntos: títulos presentes en una de las bases de datos de WOSe) 2,5 puntos: títulos presentes en Latindex y que no están presentes en

ninguna de las bases de datos internacionales.f) pervivencia de la revista para los títulos presentes en el repertorio Ulrich's

periodicals directory, con la condición de que sea una publicación viva y con la fecha de inicio bien definida.

Nota:en el caso del derecho se ha estipulado una excepción porque se considera que todo el ámbito en general tiene un déficit de visibilidad.

El ICDS es elaborado por MIAR.

ICDS (Índice Compuesto de Difusión Secundaria )

Contiene un listado exhaustivo de bases de datos que incluyen la revista

Matriu d’Informació per a l’Avaluació de Revistes

CLASIFICACIÓN INTEGRADA DE REVISTAS CIENTÍFICAS

(CIRC)

CIRC

•Clasificación de las revistas científicas españolas de CC.SS. y Humanidades en función de la calidad, integrando los productos de evaluación existentes y considerados positivamente por las diferentes agencias de evaluación nacionales como CNEAI, ANECA).

•La clasificación consta de cuatro grupos jerárquicos (gA, gB, gC, gD) en función de la visibilidad de las revistas y un quinto grupo de excelencia (gEx).

•EPUC+EC3+ACUTE+LEMI

•Desde junio de 2011 la clasificación CIRC se integra en Dialnet

CIRC

El criterio para la asignación a los grupos jerárquicos depende de las puntuaciones que obtiene la revista en bases de datos como:

•SCI, SSCI, AHCI

•JCR

•SCOPUS

•SJR

•ERIH

•IN-RECJ, IN-RECS, IN-RECH

•DICE

•LATINDEX

• No se actualiza desde 2012

• Prometen una nueva edición para abril 2014

INDICIOS PARA LIBROS

LIBROS

• SPI muestra un ranking de editoriales basado en la opinión de expertos españoles en Humanidades y Ciencias Sociales

… Ediciones Universidad de Salamanca solicitará una evaluación del original presentado a través de un doble informe encargado a expertos (más conocido como sistema de evaluación por pares con sistema de doble ciego), que determinará la validez, calidad, interés y conveniencia de su publicación o no. La obra asimismo recibirá una evaluación editorial interna, de carácter técnico. …

LIBROS

Buscar en la página web de la editorial, especialmente en el apartado de “normas para autores”

ALTMETRICS = ALTMETRÍAS

• Los filtros tradicionales para seleccionar literatura relevante están fallando:– La revisión por pares es lenta, convencional y no hay responsabilidad de los revisores– Recuento de citas: es lento, estrecho, no mide el impacto extra-académico, ni tiene en

cuenta las razones para citar– Factor de impacto: no valora el trabajo individual, sus elaboración exacta es un secreto

comercial, es relativamente fácil de trampear• Los resultados de la investigación se diversifican, además de artículos tenemos:

– Datasets, código, diseño experimental– “Nanopublicacion”, donde la unidad citable es un argumento o pasaje más que un

artículo completo– Autoediciones vía blogs y comentarios en los blogs

• Los investigadores están utilizando nuevas formas de comunicación:– Zotero, Mendeley, CiteUlike, Facebook, Twitter, Repositorios, Blogs

• Estas nuevas formas de comunicación dejan un rastro de impacto mucho más rico que el que se tenía hasta ahora. Los elementos de este rastro es lo que llamamos ALTMETRÍAS.

• Las altmetrías son diversas: pueden medir el impacto del nuevo ecosistema académico

• Las altmetrías son rápidas: usando APIs públicas pueden recoger datos en días o semanas. Permiten incluso crear recomendaciones en tiempo real y sistemas de filtrado colaborativos.

• Las altmetrías son el crowdsourcing de la revisión por pares• Las altmetrías muestran el impacto de la propia fuente (no

del vehículo)• Las altmetrías muestran el impacto extra-académico• Las altmetrías son más difíciles de trampear

ALTMETRICS = ALTMETRÍAS

ALTMETRICS=ALTMETRÍAS

• Vistas/Descargas• Comentarios/Revisiones post publicación• Presencia en medios sociales

“Lo que yo me pregunto es: ¿Estaremos teniendo impacto?”

El servicio de búsqueda de indicadores del Servicio de Bibliotecas

Herramientas USAL para ayudar a encontrar indicadores

Recommended