View
269
Download
1
Category
Preview:
DESCRIPTION
Las universidades españolas en los rankings internacionales: conclusiones del grupo de trabajo interministerial.
Citation preview
© Laboratorio de Estudios Métricos de Información (LEMI)
CONFERENCIA ANUAL RED OTRI 2014
Las universidades españolas en los rankings internacionales: conclusiones del grupo de trabajo interministerial
Elías Sanz-Casado Laboratorio de Estudios Métricos de la Información (LEMI).UC3M Instituto de Estudios Avanzados sobre la Evaluación de la Ciencia y la Universidad (INAECU UAM-UC3M)
¿Por qué evaluar la investigación en la Universidad? 2
El sector universitario es uno de los principales motores del desarrollo científico y económico en la mayoría de los países (financiar la educación y la investigación es una inversión no un gasto) Algunas cifras en UK (Fuente: Universities UK, 2013 y 2014) Las universidades generan más 59 mil millones de libras/670.000 puestos de
trabajo directos o indirectos Las universidades atraen más de 3 mil millones de libras de ingresos de
colaboración con empresas, etc. Los estudiantes internationales contribuyen con más 7 mil millones de libras a
la economía de UK Las ocho universidades públicas catalanas contribuyen con el 0,6% del PIB de
Cataluña. (Fuente: Asociación Catalana de Universidades Públicas, 2012) En España la producción científica de las universidades representa el 65%, el 37% del
personal de I+D, y el 28% de los gastos I+D. (Fuente: WoS e INE)
A la hora de evaluar la actividad en las universidades hay que tener en cuenta los diferentes tipos de instituciones que existen, y cuyas misiones y actividades son diferentes:
Univ. Internacionales / Investigadoras/ Generalistas o
Especializadas
Univ. Nacionales / Docentes/ Formación continua
Univ. Locales /orientadas a la transferencia/intensa relación con el ámbito empresarial
Actualmente coexisten en el sistema universitario español instituciones de los tres tipos
¿Por qué evaluar la investigación en la Universidad? 3
Los rankings como herramienta de evaluación
Los rankings se han convertido en una herramienta de interés para la evaluación, comparabilidad y visibilidad de las universidades en un ámbito global
Desde el lanzamiento en 2003 del Ranking de Shanghái, muchas han sido las iniciativas similares desarrolladas en todo el mundo (Leiden, QS, THE, U-MULTIRANK).
El crecimiento y evolución de estos rankings da cuenta de la utilidad e interés para:
Los gestores de política científica
Los gestores académicos
Los estudiantes y los profesores (atracción de talento). En un mundo cada vez más competitivo y con altos niveles de incertidumbre la movilidad es un factor importante. El nº de estudiantes buscando universidades externas para su formación terciaria, se duplicó desde el año 2000 al 2012 (desde 2,1 millones a 4,5 millones) (Fuente OECD, 2014)
4
¿Cuál es la utilidad de los rankings dentro de la propia institución?
Ayudar a la modernización de las instituciones universitarias
Rendición de cuentas
Transparencia. Ayudan a centralizar la información
Eficiencia: Reorganización de estructuras y procedimientos
Reorganización de la investigación en campos competitivos a nivel nacional e internacional
Permiten comparar las universidades en el ámbito nacional e internacional
Los rankings como herramienta de evaluación 6
Rankings Universitarios Internacionales: Relevancia 6
Los rankings internacionales permiten comparar el rendimiento de las instituciones, utilizando una serie de indicadores que pretenden medir (entre otros aspectos): La educación (recursos, profesorado, entorno de aprendizaje) La investigación (recursos, repercusión, producción) El tamaño Las transferencias de conocimiento a la industria La reputación académica y en el mundo laboral Las relaciones con el entorno
Problemas metodológicos Desconocimiento de muchas fuentes de obtención de datos, fundamentalmente en otros países Las encuestas no se sabe quiénes las contestan y cómo se han seleccionado a los encuestados A veces los indicadores solicitados no están bien definidos La asignación de pesos a los indicadores así como los indicadores basados en reputación
introducen un elevado grado de subjetividad
Existencia de sesgos Factores como el idioma, la trayectoria institucional y el prestigio internacional favorecen a
instituciones norteamericanas y europeas Se favorece la presencia de universidades con una fuerte orientación investigadora en detrimento
de las que tienen perfil más docente o tecnológico No se tiene en cuenta el tamaño de las instituciones. Las grandes salen favorecidas Apenas se tiene en cuenta la producción científica en CCSS y Humanidades.
Limitaciones que presentan los rankings 7
EL GRUPO DE TRABAJO DEL MECD PARA LA MEJORA DE LA POSICION DE LAS UNIVERSIDADES EN LOS RANKINGS INTERNACIONALES
8
Secretaría General de Universidades :
“Grupo de Trabajo para la mejora de la posición de las universidades españolas en los
Rankings Internacionales”
Debido a :
• La dificultad de conocer los datos reales que las universidades españolas aportan a los rankings internacionales
• La complejidad de cada una de las metodologías utilizadas por los rankings
Actividades del Grupo de Trabajo: • Analizar los rankings internacionales
(metodología, indicadores, limitaciones, etc.) a partir del análisis de los datos que las universidades españolas envían a los rankings internacionales.
Elaboración de una Guía de buenas practicas
OBJETIVOS
9
Detectar las universidades españolas que envían datos a los rankings QS, THE, ARWU.
Analizar la consistencia de los datos estructurales (nº de estudiantes, profesorado, financiación, etc.) que aparecen en los informes de cada universidad española en los rankings.
Contrastar la consistencia de los resultados elaborados por los tres rankings internacionales en función de las metodologías seguidas en su construcción.
Validar los resultados bibliométricos de los perfiles suministrados por los rankings con fuentes externas, p.e. Observatorio de la Actividad Investigadora en la Universidad Española (IUNE).
Analizar la influencia de los indicadores en los resultados obtenidos en cada una de las dimensiones consideradas en los 3 rankings.
METODOLOGÍA 10
Vías de obtención de datos: • Contacto con las universidades para solicitar datos (se enviaron varias cartas de solicitud) • Análisis de informes que las universidades recibían de los rankings
Fuentes para la obtención de los datos: • A través de los propios rankings, consulta a sus páginas. • Consulta directa a las personas de contacto de cada uno de los rankings • Recogida directa de información procedente de las universidades españolas • Otras fuentes:
Web of Science de Thomson Reuters. IUNE (Observatorio de la Actividad Investigadora de la Universidad Española)
Análisis estadístico: • WEKA • Estimación a través de indicadores y las herramientas de ARWU
Rankings Universitarios Internacionales: (QS, ARWU, THE)
11
Criterio QS THE ARWU
Total universidades evaluadas 5000 2000 3000
Universidades españolas evaluadas No dan dato por confidencialidad 22 29
Total Universidades rankeadas 700 400 500
Universidades españolas rankeadas 14 7 12
Rankings Universitarios Internacionales: indicadores 12
QS World University Ranking INDICADORES QS DEFINICIÓN FUENTE DATOS
Prestigio académico (40%) Mide el prestigio universitario-académico Encuestas
Prestigio laboral (10%) Mide el Prestigio universitario laboral Encuestas
Citas PDI (20%) El Nº de citas recibidas durante cinco años entre el Nº de PDI SCOPUS
Ratio PDI/alumno (20%) El promedio de estudiantes por profesor/investigador Universidades
% Estudiantes internacionales (5%) Se mide por medio de la proporción de estudiantes extranjeros
Universidades
% Profesores internacionales (5%) Se mide por medio de la proporción de profesorado extranjero
Universidades
THE World Ranking
DIMENSIONES INDICADORES WORLD RANK
FUENTE DE DATOS
Enseñanza: ambiente de aprendizaje 30%
Reputación académica 15% Encuesta
Ratio Prof/Alumno 4,50% Universidad
Proporción doct/ licenc 2,25% Universidad
Ratio doctorandos/PDI 6% Universidad
Ingresos institucionales/PDI 2,25% Universidad
Investigación: ingresos y reputación 30%
Reputación Investigadora 18% Encuesta
Ingresos investigación 6% Universidad
Citas: influencia de investigación 30%
Nº artículos en Web of Science/Nº Prof 6% Thomsom Reuters
Nº Citas en 5 años en Web of Science 30% Thomsom Reuters
Ingresos Industria: innovación 2,50%
Ingresos investigación procedentes de la industria/PDI 2,50% Universidad
Perspectiva internacional: PDI, Alumnos, investigación 7,50%
Ratio Alum intern/Alum nac 2,50% Universidad
Ratio PDI intern/PDI nac 2,50% Universidad
Publicaciones con coautoría internacional 2,50% Universidad
ARWU-World Ranking INDICADOR DEFINICIÓN FUENTE DE DATOS
(Alumni) 10% Nº alumnos con premios Nobel o medallas Fields. Página oficial del Premio Nobel y Medalla Fields
(Awards) 20%
Nº de PDI de con medallas Fields o premios Nobel Página oficial del Premio Nobel y Medalla Fields
(HiCi) 20% Nº de investigadores muy citados dentro de la Web of Science Thomson Reuters http://www.highlycited.com/
(N & S) 20% Nº de artículos publicados en Nature y Science (5 años) Thomson Reuters hhttp://www.webofknowledge.com/
(PUB) 20% Nº de publicaciones en SCI-E y SSCI durante 2012. Thomson Reuters hhttp://www.webofknowledge.com/
PCP 10% Las puntuaciones ponderadas de los cinco indicadores anteriores divididos por el número de personal académico equivalente a tiempo completo (FTE).
Dato obtenido de agencias nacionales como Ministerios de Educación Instituto nacional de estadistica, etc.
Respuesta de las universidades (universidades que han enviado sus datos a los rankings internacionales)
13 UNIVERSIDADES que envían datos a
los rankings y su posición en el ranking de 2013
QS THE ARWU
U. Autónoma de Madrid SI 195 SI 301/350 SI 201/300
U. Politécnica de Valencia SI 345 SI 351/400 SI 301/400
U. Autónoma de Barcelona SI 177 SI 201/225 SI 201/300
U. Carlos III de Madrid SI 317 SI -- SI -- U. de Navarra NO 315 Si 351/400 SI -- U. Rovira i Virgili NO -- SI 351/400 SI -- U. Salamanca NO 441-450 SI -- SI -- U. Valencia SI 471-480 SI 351/400 SI 301/400
U. Alicante NO -- NO -- SI -- U. Islas Baleares NO -- NO -- SI -- U. de la Laguna NO -- NO -- SI -- U. Miguel Hernández NO -- NO -- SI -- U. Santiago de Compostela NO 501-550 NO -- SI -- U. Sevilla SI 551- 600 NO -- SI -- U. Pompeu Fabra SI 281 SI 164 NO 301/400
U. Zaragoza NO 481-490 SI -- NO 401-500
U. Politécnica de Madrid NO 389 SI -- NO -- U. de Barcelona SI 178 SI 201/225 SI 201/300
U. Complutense de Madrid NO 216 SI -- NO 201/300
Respuesta de las Universidades a la solicitud de datos
Nº
Nº de universidades a las que se envía solicitud
72
Responden 51 (70,8%)
19 Envían datos a los rankings
32 No envían datos a los
rankings
No responden 21 (29,2%)
Ranking Nº de universidades que envían datos
ARWU 15 QS 8
THE 13
14
El ranking QS en 2013 ordenaba los datos de: 18 universidades españolas entre las 700 primeras 14 universidades españolas entre las 500 primeras De las cuales 13 universidades públicas y 1 privada
Puntuación QS 2013
79
84,7
72,8
78,2
41,4
26,6
43,5
38,1
34,7
32,7
0
0
0
44
61,5
67,6
76,1
40,4
50
61,9
32
49,5
58,4
0
0
0
34,9
29
37,8
33,7
40,8
70,7
54,3
65,6
56
51,1
37,8
22,5
52,9
48,7
39,3
37
14,8
34,1
24,9
6,3
14,4
14,3
7,7
16,2
26,6
16
22,8
6
15,5
3,7
78,8
33,5
30
14,2
7,5
2,9
3,4
2,4
7
30,5
23,4
18,2
19,7
42,5
49
28,4
37,6
16
52,9
13,2
14,7
6,5
55,6
55,4
52,7
49,9
41,8
39
38,8
37,2
34,2
33,6
30,4
29
28,6
UAB
UB
UAM
UCM
UPF
UNAV
UC3M
UPC
UPV
UPM
USAL
UV
UZAR
Puntos QS de las universidades españolas 2013
Academic Reputation Emplyer Reputation Faculty Student Citations Faculty International Faculty International Student Puntuacion final
Puntuación THE 2013 15
*9 universidades españolas entre las 400 primeras en el año 2013 *En el ranking de universidades de menos de 50 años las españolas salen mejor representadas *En los rankings por materias en el año 2013 entre las 100 primeras universidades en cada materia y aparecen: UAM y UCM En el área de Arts and Humanities UB En el área de Clinical, Pre-Clinical and Health UPF En el área de Social Sciences
Puntuación ARWU 2013 16
El ranking ARWU en su edición de 2013 evaluaba a 29 universidades españolas En el TOP 500 de 2013 se incluían 10 universidades españolas (todas públicas)
0
0
0
20
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
10,2
12,5
0
7,2
6,6
0
0
7,2
5,1
11,1
11,2
13,8
8,1
10,2
12,6
17,2
9,2
6,5
2,1
50,5
39,1
45
42,3
40,7
32
25,6
40,4
33
33,7
16,8
16,8
19,1
11,7
13,6
14,1
28,9
12,7
11,8
12,3
16,5
14,6
14,1
13,6
13,3
12
11,8
11,5
10,8
9,7
0 20 40 60 80 100
UB
UAM
UAB
UCM
UV
UPV
UPF
UGR
EHU
UNIZAR
Puntos ARWU de las universidades españolas 2013
Alumni Award HICI N&S PUB PCP TOTAL Puntos
Análisis de los datos obtenidos de universidades 17
Rankings Sub-Rankings Indicadores Información Solicitada
QS • World University Ranking • Field • Subject • Top Under 50
• Prestigio Académico • Prestigio Laboral • Citas por Profesor • Promedio Estudiante-Profesor • Internacionalidad del profesorado • Internacionalidad del alumnado
Cuestionario con 36 ítems: • Nº Personal Docente e investigador • Nº Estudiantes de grado (nacionales e internacionales) • Nº Estudiantes de postgrado (nacionales e internacionales) • Coste matrícula de grado (nacionales e internacionales) • Coste matrícula de postgrado (nacionales e internacionales) Se proporcionan datos de dos años (2012-2013 y 2011-2012) por lo que el total de ítems se eleva a 72.
THE
• World University Ranking • World Reputation Ranking • Subject • Top 100 Under 50
• Docencia • Investigación • Citas • Ingresos-Innovación • Internacionalidad
Cuestionario con 36 Ítems: • Nº Personal Docente • Nº Personal Investigador • Nº Estudiantes • Nº Matriculados • Precios Matriculas • Nº de Tesis leídas 15 de los 36 items se solicitan además desagregados en 6 áreas de conocimiento, lo que supone 90 items adicionales
ARWU- Shanghái
• World Top 500 • Field • Subject
• Calidad docente (Alumni) • Calidad del profesorado (Award) • Calidad de la investigación: dos indicadores (HiCi y Nature y Science) • Producción científica (SCI) • Tamaño de la universidad (size) • Porcentaje de artículos en revistas Top 20% (solo Field y Subject) • Gasto de investigación en ingeniería (solo área ingeniería)
Cuestionario con 42 Ítems: • Nº Personal Docente-Investigador • Nº Estudiantes • Nº Matriculaciones • Ratio de desempleo • Ingresos Universidad • Nº de titulados • Información general de la universidad Se proporcionaron datos de tres años: 2009, 2010 y 2011, por los que el total de datos enviados fue de 126
El ranking QS datos enviados por las universidades 18
El ranking THE datos enviados por las universidades 19
0,00
5,00
10,00
15,00
20,00
25,00UPV
USAL
UAM
UV
UAB
UNIZAR
URVUNAV
UPM
UC3M
UPF
UCM
UB
Perfil de datos de las universidades españolas en el ranking THE
Nº PDI (millares)
Nº PDI internacionales (Endecenas)
Nº PDI investigador (centenas)
Nº estudiantes (Decenas demillare)
Nº estudiantes internacionales(En millares)
Nº_Grados (En millares)
Nº_Doctorados (En centenas)
Ingresos_Institucionales(centenas de millon)
Ingresos_investigación (Decenasde millones)
Ingresos investigación ARWU 20
Estadístico Total de ingresos de Investigación
Nº de universidades 15 Mediana 45.077.567,0
Media 43.481.540,9
Mínimo 5.263.957
Máximo 83.271.214,0
Estimación para las universidades españolas
Top 100
101-200
201-300
301-400
401-500 501-
Probabilidad para la Mediana del total ingresos de investigación de las universidades españolas
0.9% 5.4% 9.9% 13.5% 18.0% 52.3%
Probabilidad para la Media del total ingresos de investigación de las universidades españolas
0.8% 5.1% 12.7% 17.8% 18.6% 44.9%
Probabilidad para el valor Mínimo del total ingresos de investigación de las universidades españolas
0.0% 0.0% 0.0% 0.0% 0.0% 100.0%
Probabilidad para el valor Máximo del total ingresos de investigación de las universidades españolas
3,6% 11.8% 20.0% 24.5% 14.5% 25.5%
Total PDI Institucionales ARWU 21
Estadístico Total PDI
Nº de universidades 15 Mediana 1.984 Media 2.395 Mínimo 1.036 Máximo 3.973
Estimación para las universidades españolas
Top 100
101-200 201-300
301-400 401-500
501-
Probabilidad para la Mediana del total de PDI de las universidades españolas
9.0% 12.9% 17.6% 11.9% 9.0% 39.5%
Probabilidad para la Media del total de PDI de las universidades españolas
13.9% 17.5% 16.0% 11.3% 9.3% 32.0%
Probabilidad para el valor Mínimo del total de PDI de las universidades españolas
3.8% 5.1% 12.7% 12.0% 12.7% 53.8%
Probabilidad para el valor Máximo del total de PDI de las universidades españolas
41.3% 18.7% 5.3% 14.7% 6.7% 13.3%
El ranking ARWU (Análisis de los datos obtenidos de IUNE) 22
UB
UAM
UAB
UCM UV
UPV
UPF
UGR
EHU/UPV
UNIZAR
UPC
US
USC
UNIOVI
UPM
ULL
02468
10121416182022242628303234363840424446485052545658606264
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 3200 3400 3600 3800 4000 4200
Núm
ero
de p
ublic
acio
nes
Nat
ure/
Scie
nce
Nº de Publicaciones en Web of Science (SSCI-SCIE)
Universidades con más de 6 Publicaciones en Nature/Science y con más de 1844 publicaciones en SSCI-SCIE)
Universidades con más de 6 Publicaciones en Nature/Science y con menos de 1844 publicaciones en SSCI-SCIE)
Univ. con menos de 6 Publicaciones en Nature/ Science y con más de 1844 publicaciones en SSCI-SCIE)
RECOMENDACIONES ESTRATÉGICAS 23
Fortalecimiento de la identidad de marca de la institución. Las universidades deberían tener una identidad institucional única y fácilmente reconocible a nivel internacional que utilicen en todas sus publicaciones (firma única y normalizada)
Las universidades deberían ser más proactivas en la colaboración con los rankings internacionales recomendando a expertos académicos y empleadores.
Incremento de la colaboración investigadora con otros centros de investigación ubicados en el entorno de las universidades, desarrollando estrategias que impliquen alianzas de investigación con estos centros (OPIs, CSIC y hospitales)
Desarrollar políticas capaces de atraer talento internacional a la universidad (profesores, investigadores y estudiantes)
RECOMENDACIONES OPERATIVAS (1) 24
Establecer un centro de contacto entre los principales rankings internacionales y el SUE que desarrollase un protocolo para que las universidades que lo deseen sepan adonde dirigirse.
Las universidades deben colaborar de manera activa con los principales rankings internacionales enviando los datos que les solicitan (sólo lo hacen el 37% de las que han contestado). Esto mejoraría su visibilidad y competitividad internacional.
Los datos que envían las universidades deberían ser revisados y consensuados con los responsables académicos, con el fin de que reflejen la realidad de la actividad investigadora, docente y de transferencia.
Las universidades deberían tener un interlocutor único para la difusión de sus datos, con el fin de controlar en todo momento la precisión de los datos que envían. Sería recomendable que las universidades contaran con unidades de evaluación y bibliometría.
RECOMENDACIONES OPERATIVAS (2) 25
Fomentar la viabilidad y utilización de bases de datos únicas tipo SIIU, IUNE y Encuesta de la Red OTRI, que contienen información relevante y fiable sobre las actividades realizadas por las universidades españolas.
Creación de unidades de provisión de datos centralizada que faciliten a todas las partes interesadas (gestores públicos y universitarios, profesores, estudiantes, empresas, etc.) los resultados del SUE en los rankings internacionales.
Incentivar al profesorado para que publique en revistas de prestigio internacional y que lo haga en aquellas de mayor impacto y visibilidad (primer cuartil) y reconocer aquellas publicaciones de mayor influencia Nature y Science.
MUCHAS GRACIAS POR VUESTRA ATENCIÓN
elias.sanz@uc3m.es http://lemi.uc3m.es
Elías Sanz Casado
Recommended