Presentacion tesis 05-12-2016

Visibilidad e impacto de la literatura gris científica en repositorios institucionales de acceso abierto.

Estudio de caso bibliométrico del repositorio Gredos de la Universidad de Salamanca

Tesis doctoral presentada por

Mª del Tránsito Ferreras Fernández

Directores:

Dr. D. José Antonio Merlo Vega Dr. D. Francisco José García-Peñalvo

Salamanca, 5 de diciembre de 2016

GRupo de Investigación en InterAcción y eLearning (GRIAL)

Índice

1. Introducción

2. Sistema de análisis y caso de

estudio

3. Estado del arte

4. Resultados y discusión

5. Conclusiones

1. Introducción

1. Introducción

Motivación

Estructura

Objetivos

Preguntas de investigación

Marco metodológico

4

Motivación Interés por la promoción y desarrollo del acceso

abierto en la Universidad de Salamanca a través del repositorio institucional

Dudas de la comunidad universitaria sobre los beneficios del Acceso Abierto y temores sobre los riesgos del Acceso Abierto y el autoarchivo en el repositorio institucional

Carencia de estudios de visibilidad e impacto sobre literatura gris y tesis doctorales en acceso abierto

“Las tesis y disertaciones son los dos tipos más útiles de la producción científica invisible y la más invisible de los tipos de producción útil” (Suber 2012)

El único mandato de Acceso Abierto de la USAL recae sobre la Tesis Doctorales

5

Acceso Abierto por defecto

Abierto a colaborar

Acceso Abierto en acción

6

Motivación

Estructura Módulo 0. Introducción Módulo I. Estado de la cuestión Capítulo 1. Revisión sistemática de la literatura Capítulo 2. El conocimiento científico abierto Capítulo 3. Repositorios Institucionales (RIs) de

acceso abierto Capítulo 4. Ecosistemas tecnológicos. El

repositorio Gredos Capítulo 5. La literatura gris científica. La tesis

doctoral Capítulo 6. Estudios de impacto de la

investigación en acceso abierto. Visibilidad, uso y citación de las tesis doctorales

Capítulo 7. Bibliometría para el acceso abierto. Métricas alternativas

Módulo II. Sistema de análisis y caso de estudio Capítulo 1. Caso de estudio: Tesis doctorales del

repositorio Gredos Capítulo 2. Material y métodos Módulo III. Resultados y discusión Módulo IV. Conclusiones Módulo V. Bibliografía Módulo VI. Anexos

7

ESTRUCTURA DE LA TESIS

Objetivos

El principal objetivo: demostrar los beneficios del acceso abierto como

modelo de comunicación científica para la literatura gris científica en

general y para las tesis doctorales electrónicas en particular

8

Objetivos 1. Definir el estado de la cuestión de los

repositorios institucionales de acceso abierto

2. Definir el estado de la cuestión de las tesis doctorales electrónicas en acceso abierto

3. Demostrar que la interoperabilidad de los repositorios y las políticas de mandato afectan positivamente a la visibilidad, el uso y el impacto de la investigación depositada en los repositorios institucionales y por ende a las tesis electrónicas

9

Objetivos 4. Realizar un estudio cuantitativo en el repositorio

Gredos que tome como elemento de estudio las tesis doctorales de la Universidad de Salamanca

5. Conocer y aplicar métricas alternativas para la realización del estudio

6. Establecer un modelo bibliométrico viable para la medición del uso y de la citación de las tesis depositadas en acceso abierto

10

Preguntas de investigación 1. ¿Las tesis doctorales en acceso abierto tienen más

visibilidad y usabilidad que las tesis doctorales que no son de acceso abierto?

2. ¿Las tesis doctorales en acceso abierto son más citadas que las tesis que no son de acceso abierto?

3. ¿Qué factores intrínsecos y extrínsecos influyen en la visibilidad, usabilidad e impacto de las tesis doctorales depositadas en repositorios institucionales de acceso abierto?

4. ¿Cómo se mide la visibilidad, usabilidad e impacto del acceso abierto?

5. ¿Cómo se puede realizar un análisis comparativo de impacto de las tesis en acceso abierto con las tesis que no están en acceso abierto?

11

Marco metodológico

Parte teórica el conocimiento científico en acceso abierto los repositorios institucionales como base para el

estudio de caso del repositorio Gredos de la Universidad de Salamanca

la literatura gris científica y las tesis doctorales y las métricas alternativas para medir su uso e

impacto

Parte práctica. Estudio de caso de la colección de tesis doctorales del repositorio Gredos

12

2. Estado del arte

2. Estado del arte

1. Revisión sistemática de la literatura

2. El conocimiento científico abierto

3. Repositorios Institucionales de acceso abierto

4. Ecosistemas tecnológicos

5. La literatura gris científica. Las tesis doctorales

6. Estudios de impacto de la investigación en acceso abierto

Visibilidad, uso y citación de las tesis doctorales

7. Bibliometría para el acceso abierto. Métricas alternativas

14

Estudio de la bibliografía

15

Revisión sistemática

Revisión sistemática de la literatura

Protocolo

1. Definición de la pregunta. Tipos de preguntas

2. Establecimiento de criterios de inclusión y

exclusión

3. Llevar a cabo la búsqueda de la literatura. Con

indicación de la estrategia de búsqueda para la

identificación de la literatura

4. Revisión del proceso y evaluación de los estudios

5. Extracción de datos

6. Sintetizar, analizar y presentar los datos

1. ¿El acceso abierto aumenta la visibilidad, la citación y el impacto de autores e instituciones?

2. ¿Existe o no una ventaja de cita en los trabajos de acceso abierto sobre los que no lo son?

3. ¿Qué es la literatura gris científica? ¿Cómo se difunde? ¿Se cita este tipo de literatura?

4. ¿Las tesis doctorales en acceso abierto tienen más visibilidad que la tesis que no son de acceso libre?


6. ¿La interoperabilidad de los repositorios institucionales aumenta la visibilidad y el impacto?

16

Revisión sistemática. Preguntas 6. ¿Hay una relación directa entre la

interoperabilidad de los repositorios institucionales y el aumento de su visibilidad e impacto?

7. ¿Los aspectos técnicos de los repositorios tienen algo que ver en la visibilidad de estos?

8. ¿Las políticas de mandato de acceso abierto de las instituciones están relacionadas con la visibilidad y el impacto de las mismas?

9. ¿Cómo se miden la visibilidad, citación e impacto del acceso abierto?

10. ¿Qué métricas alternativas se utilizan para medir el impacto?

Revisión sistemática. Traducción

17

("Open Access" OR "Acceso abierto") AND (visibili* OR impact* OR cita*) ; (“literatura gris” OR “grey literature” OR “gray literature” OR “littérature grise” OR e-theses OR theses OR dissertations OR tesis OR "tesis electrónicas") AND ((dissemination OR diffusion OR difusión OR diseminación) OR (citation OR citación)) ; Repositor* AND Interoperabili*) AND (visibili* OR impact*) ; ("Open Access" OR "Acceso abierto") AND (mandat* OR poli*) AND (visibili* OR impact*) ; ("Open Access" OR “acceso abierto) AND (bibliometric* OR almetric* OR informetric* OR scientometric* OR webometrics ) ; (“open access” AND impact) AND (bibliometric* OR almetric* OR informetric* OR scientometric* OR webometrics)

Revisión sistemática. Resultados

2.192 referencias de las bases de datos WOS, SCOPUS, LISTA y LISA

Solo 257 referencias de estas fueron incluidas en la revisión

El 91% de las referencias son artículos de revistas

104 referencias se identificaron por métodos complementarios

Desde Google Scholar y recursos de acceso abierto: 883 referencias. Se seleccionaron 182

Trabajos incluidos en la revisión: 543

La valoración crítica de los trabajos seleccionados se encuentra en los temas tratados en el estado de la cuestión

18

3. Sistema de análisis y caso de estudio

3. Sistema de análisis y caso de estudio

Caso de estudio: Tesis doctorales del repositorio Gredos

Material y métodos

20

Tesis doctorales en el repositorio Gredos

El número de tesis depositadas en acceso abierto a finales de 2011 superaba las 800 y, cinco años después, en 2016, el número asciende a 2.100

21

Tesis en Gredos. El mandato Mandato sobre el depósito de tesis en Gredos

Mandato aprobado en Consejo de Gobierno de la Universidad de Salamanca de 29 de febrero de 2008 y modificado por los Consejos de Gobierno de 29 de septiembre de 2008 y 27 de febrero de 2009 (sección tercera, artículo 23)

Único mandato institucional de acceso abierto de la Universidad de Salamanca

Real Decreto 99/2011:

Establece en su artículo 14.5 el “mandato nacional” de depositar el archivo electrónico abierto de las tesis doctorales en el repositorio institucional correspondiente

22

Tesis en Gredos. La interoperabilidad INTEROPERABILIDAD = VISIBILIDAD

23

USO

IMPACTO

Tesis en Gredos. La interoperabilidad

24

Muestra La muestra de población seleccionada

1. Todas las tesis leídas en la Universidad de Salamanca en los dos cursos previos al mandato institucional de acceso abierto de 2009

2. Todas las tesis leídas en la Universidad de Salamanca de los cursos que estaban sujetas a mandato

Fuentes Las fuentes de datos utilizadas para la obtención del material

1. La base de datos TESEO 2. El repositorio Gredos

Material y métodos

25

26

Material y métodos

TESIS U. SALAMANCA, 2006-2011 (n=1435)

Datos TESEO

Tesis NO OA (n=454) Tesis OA (n=981)*

2006 2007 2008 2009 2010 2011

217 237 253 234 243 251

Muestra

*GREDOS (n=863)

27

Período 2008 - 2011 863 tesis 48 tesis retiradas

Material y métodos Muestra

Material y métodos. Análisis estadístico Descripción de las variables a estudio

Cualitativas: Las áreas o disciplinas analizadas: CC Biosanitarias, E. Técnicas, CC. Sociales, Humanidades CC. Experimentales

Cuantitativas: Visitas Descargas Citas

28

Fuentes Fuentes utilizadas para extraer

datos sobre visibilidad, uso e impacto de las tesis analizadas: 1. Web of Science (WOS) y

Scopus 2. La colección de Tesis

Doctorales del repositorio Gredos

3. El buscador científico Google Scholar

La información se recopiló durante el mes de agosto de 2014

Material y métodos. Análisis estadístico Análisis de datos

Existencia de asociación entre variables cualitativas: prueba de la Chi-cuadrado

Existencia de asociación entre variables cuantitativas: test de Spearman

Comparaciones entre variables: prueba de Kurskal-Wallis

Comparaciones por pares (post-hoc) para averiguar entre qué par de grupos hay diferencias: test Dunn

29

Análisis de datos Análisis descriptivo de las

variables Las variables cualitativas se

describieron con sus frecuencias absolutas y porcentajes

Las variables cuantitativas se describieron mediante medidas de tendencia central, dispersión y posición

4. Resultados y Discusión

4. Resultados y discusión

Resultados y discusión del análisis de citación en WOS Resultados y discusión del análisis de visibilidad, uso y citación de

las tesis de Gredos

31

Resultado análisis de citación en WoS

32

Errores en los datos ofrecidos por WOS = Imposible identificación de tesis doctorales

Las citas recaen sobre tesis doctorales publicadas o en acceso abierto

Las tesis doctorales tienen muy poca citación en las publicaciones científicas

Preferencias de los autores por citar artículos y libros derivados de la investigación

Mayor número de e-tesis en acceso abierto = necesidad de medir con herramientas adecuadas el uso y la citación 33

Resultado análisis de citación en WoS

Resultado del análisis de tesis de Gredos

34

Áreas Frecuencias Porcentajes IC95%

CC. Biosanitarias 249 28,90 25,83-31,88

E. Técnicas 32 3,70

2,45-4,97

CC. Sociales 309 35,80

32,61-39,00

Humanidades 156 18,10

15,51-20,64

CC. Experimentales 117 13,60

11,27-15,84

Total 863 100,00

35

Años Frecuencias Porcentajes

IC95%

2008 152 17,60

15,07-20,15

2009 155 18,00

15,40-20,52

2010 297 34,40

31,25-37,58

2011 259 30,00

26,95-33,07

Total 863 100,00 --



0

50

100

150

200

250

300

350

400

450

500

CC. Biosanitarias E. Tecnicas CC. Sociales Humanidades CC. Experimentales

2008 2009 2010 2011 36

0

1000

2000

3000

4000

5000

6000

7000


2008 2009 2010 2011


37

0

0,5

1

1,5

2

2,5


2008 2009 2010 2011


38


39

Aumento de visitas

Aumento de descargas

Aumento de citas

Resultado del análisis de tesis de Gredos Depósito

Alto porcentaje de depósito de tesis doctorales en el repositorio -Mandato Áreas con mayor número de tesis doctorales leídas entre 2008-2011: Ciencias

Sociales y Ciencias Biosanitarias

Visibilidad y uso Grado de visibilidad del contenido – Interoperabilidad Más visitas: Ciencias Sociales Aumento de la media de visitas: Enseñanzas técnicas en 2010 y Humanidades

en 2009 Media de las descargas: muy similar en todas las áreas de conocimiento

excepto Ciencias Sociales Visitas y descargas: uso extenso de las tesis doctorales ¿Se utilizan y citan en fuentes reconocidas y revistas científicas? ¿Dónde acaba

la investigación de los doctorandos?

40

Resultado del análisis de tesis de Gredos Citación Diferencias significativas entre las áreas de Enseñanzas Técnicas y Ciencias

Sociales, entre Ciencias Biosanitarias y Humanidades y entre Ciencias Biosanitarias y Ciencias Sociales

Impacto de la literatura gris en la Web El sistema de rastreo de las citas de Google Scholar da visibilidad a la

literatura gris, tanto como documento citado como que cita Transformación de la literatura gris en literatura convencional Google Scholar

buscador de publicaciones científicas índice de citas

Google Scholar Citations es una de las herramientas más maduras y prometedoras de las altmétricas, destinada a rastrear el número de lectores y la influencia 41

5. Conclusiones

Conclusiones Conclusiones generales

Conclusiones sobre las preguntas de investigación

Conclusiones finales

Investigaciones futuras

Resumen de publicaciones

43

Conclusiones generales

1. Se han alcanzado los objetivos y sub-objetivos planteados en esta investigación

2. El acceso abierto reporta beneficios de visibilidad e impacto a las tesis doctorales

3. Los resultados demuestran que los repositorios son una vía válida y ventajosa para difundir la literatura gris científica de las instituciones

4. El uso y el impacto de las tesis doctorales en repositorios apuntan a que las tesis doctorales dejan de ser “grises”, siendo literatura visible, consultada y citada que contribuye a la visibilidad de autores e instituciones

5. Las tesis doctorales se consideran información de segundo nivel cuando se comparan con los artículos publicados en revistas científicas

44

45

1. ¿Las tesis doctorales en acceso abierto tienen más visibilidad y usabilidad que las tesis doctorales que no son de acceso abierto?


3. ¿Qué factores intrínsecos y extrínsecos influyen en la visibilidad, usabilidad e impacto de las tesis doctorales depositadas en repositorios institucionales de acceso abierto?

4. ¿Cómo se mide la visibilidad, usabilidad e impacto del acceso abierto?

5. ¿Cómo se puede realizar un análisis comparativo de impacto de las tesis en acceso abierto con las tesis que no están en acceso abierto?

46

1. ¿Las tesis doctorales en acceso abierto tienen más visibilidad y usabilidad que las tesis doctorales que no son de acceso abierto?

Las tesis doctorales puestas en acceso abierto son más visibles y más usadas que las tesis doctorales que no son de acceso abierto

47


Sí. Las tesis doctorales en acceso abierto son más citadas que las tesis que no están en acceso abierto

48

3. ¿Qué factores intrínsecos y extrínsecos influyen

en la visibilidad, usabilidad e impacto de las tesis doctorales depositadas en repositorios institucionales de acceso abierto?

Interoperabilidad (aspecto técnico) y mandato (aspecto político) son dos factores que influyen positivamente en la visibilidad, el uso y el impacto de las tesis doctorales

Conclusiones-preguntas de investigación 4. ¿Cómo se mide la visibilidad, usabilidad e

impacto del acceso abierto?

La visibilidad, usabilidad e impacto del acceso abierto se mide con herramientas tradicionales, tales como los módulos de estadísticas de los repositorios, y con métricas alternativas, tales como Google Scholar

49

Conclusiones-preguntas de investigación

5. ¿Cómo se puede realizar un análisis comparativo de impacto de las tesis en acceso abierto con las tesis que no están en acceso abierto? No se puede realizar un análisis comparativo de impacto de las tesis en acceso abierto con las tesis que no están en acceso abierto

50

Conclusiones finales

Las tesis doctorales son trabajos de investigación que contienen resultados y una rica revisión de la literatura

Las tesis doctorales OA contribuyen al impacto global y al ranking de la Universidad

Los repositorios institucionales son un canal válido para la difusión de la denominada literatura gris científica, particularmente de las tesis doctorales

El sistema de análisis bibliométrico utilizado en esta investigación es viable para la medición de la visibilidad, el uso, y el impacto de las tesis depositadas en repositorios institucionales de acceso abierto

Las tesis doctorales OA son citadas aunque la relación entre uso y citas recibidas no sea proporcional

51

Investigaciones futuras

Revisión sistemática de la literatura

La literatura gris de la Universidad de Salamanca como contribuyente al trabajo científico

Análisis del impacto de los trabajos derivados de las tesis doctorales en OA

Continuar promocionando el Acceso Abierto al Conocimiento (Archievangelismo)

52

Resumen de Publicaciones

Artículos en revistas científicas García-Peñalvo, F. J., Merlo-Vega, J. A., Ferreras-Fernández, T., Casaus-

Peña, A., Albás-Aso, L., & Atienza-Díaz, M. L. (2010). Qualified Dublin Core Metadata Best Practices for GREDOS. Journal of Library Metadata, 10(1), 13–36. http://doi.org/10.1080/19386380903546976

Ríos-Hilario, A., Martín-Campo, D., & Ferreras-Fernández, T. (2012). Linked data y linked open data: su implantación en una biblioteca digital. El caso de Europeana. El profesional de la información, 21 (3), 292-297

Merlo-Vega, J.A., & Ferreras-Fernández, T. (2013). Preservación digital y difusión de la revista Educación y biblioteca desde el repositorio Gredos de la Universidad de Salamanca. El profesional de la información, 22 (2), 143-148

Ferreras Fernández, T. (2013). El Repositorio Gredos de la Universidad de Salamanca como proveedor de datos de Europeana. Boletín de la ANABAD, 63(3), 407-419

53

Artículos en revistas científicas Ana B. Ríos-Hilario, Tránsito Ferreras-Fernández, & Diego Martín-Campo.

2014. From Bibliographic Records to Data Changes in the Library Environment with the Application of Linked Open Data Technologies. Information Resources Management Journal, 27(3), 28-41. DOI: 10.4018/irmj.2014070103

Morales-Morgado, E. M., Campos Ortuño, R. A., Ling, Y. Ling, & Ferreras-Fernández, T. (2014). Adaptation of Descriptive Metadata for Managing Educational Resources in the GREDOS Repository. International Journal of Knowledge Management (IJKM), 10(4), 50-72. DOI:10.4018/ijkm.2014100104

Ferreras-Fernández, T., & Merlo-Vega, J. A. (2015). Repositorios de acceso abierto: un nuevo modelo de comunicación científica. La Revista de la Sociedad ORL CLCR en el repositorio Gredos. Rev. Soc. Otorrinolaringol. Castilla León Cantab. La Rioja, 6(12), 94 -113

Ferreras-Fernández, T., García-Peñalvo, F. J., Merlo-Vega, J.A., & Martín-Rodero, H. (2016). Providing Open Access to PhD theses: Visibility and citation benefits. Program 50(4), pp. 399 – 416. DOI: http://dx.doi.org/10.1108/PROG-04-2016-0039 54

Resumen de Publicaciones

Muchas gracias

Visibilidad e impacto de la literatura gris científica en repositorios institucionales de acceso abierto.

Estudio de caso bibliométrico del repositorio Gredos de la Universidad de Salamanca

Tesis doctoral presentada por

Mª del Tránsito Ferreras Fernández

Directores:

Dr. D. José Antonio Merlo Vega Dr. D. Francisco José García-Peñalvo

Salamanca, 5 de diciembre de 2016

GRupo de Investigación en InterAcción y eLearning (GRIAL)