La producción científica universitaria en Chile : visibilidad e impacto internacional

Universidad de Chile/UNIVERSIA , Santiago de Chile, Noviembre 2009

_______________________Félix de Moya Anegón

CSIC/SCImago Research Group

Calidad Científica

• Es el grado en que un científico, un grupo o una institución contribuye al progreso del conocimiento. En otras palabras, la capacidad para resolver problemas, para ofrecer nuevas ideas sobre la "realidad", o para hacer posible una nueva tecnología. En última instancia, siempre es la comunidad científica (‘los pares’, como un grupo amplio de colegas científicos, no solamente los compañeros, integrados en un comité de revisión), que tendrá que decidir de forma inter-subjetiva sobre la calidad.

Impacto/Influencia/Prestigio

• Impacto es la influencia real de los resultados de investigación en un período dado. Si bien esto dependerá en parte de su importancia, también puede estar afectado por factores tales como la ubicación del autor, su prestigio y el de sus colaboradores, el idioma o la accesibilidad del canal de comunicación usado, entre otros.

• El impacto se considera actualmente como uno de los aspectos de la calidad de la investigación que puede medirse por indicadores cuantitativos. La calidad de la investigación en su conjunto tiene que ser evaluada por pares. Sin embargo, es una tendencia emergente en la ciencia política, considerar al impacto como la parte medible de la calidad, como medida que representa la calidad de la investigación.

Excelencia

• ‘Excelencia científica’ es una expresión que denota la superioridad comparativa con otros científicos de calidad sobre la base de las mejores puntuaciones entre un conjunto de entidades comparables. Una vez se identifican los canales internacionalmente reconocibles y se elaboran los modelos de medición apropiados, los elementos distintivos de la excelencia en la investigación pueden ser objeto de mediciones comparadas para hacer posteriores análisis más detallados.

• La excelencia se logra cuando los resultados de investigación analizados alcanzan un impacto por encima de un umbral prefijado.

Cantidad y Calidad

• Un simple recuento del número de publicaciones es generalmente considerado como una medida de la productividad investigadora, de la cantidad más que de la calidad. Los indicadores que se basan en el recuento de publicaciones son relacionados de forma remota con la investigación de calidad, son los indicadores de citación los más próximos a este concepto. El hecho de que un artículo ha sido publicado en una revista académica por lo general implica que ha sido objeto de un minucioso proceso de revisión inter pares, lo que podría interpretarse como un signo de calidad. Sin embargo, no es más que una oferta a la comunidad científica. Es el uso que con posterioridad se hará de dicha oferta es lo que certifica el grado de calidad real de una contribución (artículo, libro, etc.).

Sistemas de evaluación

• Basado en canales de comunicación científica que aseguren la calidad

• Dos elementos esenciales:– Umbral mínimo de calidad– Ranking de publicaciones

• Los umbrales bajos reducen la visibilidad y por tanto el impacto

• Los sistemas binarios no aseguran la calidad del conocimiento generado

Timing effects and shifts in criteria in UK Research Assessment Exercises (RAE)

-4.0

-3.0

-2.0

-1.0

0.0

1.0

2.0

3.0

4.0

86 87 88 89 90 91 92 93 94 95 96 97 98 99 00 01 02 03Years

Ann

ual G

row

th R

ate

% UK Articles% UK Authors

1995/61992 2000

Total PublicationCounts

Shift from Quantity toQuality

ResearchActiveStaff

% UK authors

% UK Articles

Puedo aumentar mi visibilidad…..

1. Incrementando la autocitación?

2. Publicando en revistas de alto impacto?

3. Colaborando con mejores socios?

4. Publicando con autores norteamericanos?

5. Publicando menos, sólo buenos papers?

6. Organizando arreglos de citación con colegas?7. Potenciando los mejores frentes de investigación?

• 2.192 instituciones de investigación– 1.579 universidades

• Selección basada en umbral productivo: 100 productos en el último año

• Período de cobertura (2003-2008)• Representa el 70% de la producción mundial en 85 países• Ocho indicadores de producción científica, cinco sectores

institucionales y 25 grandes campos científicos• SIR Analytics: herramienta de análisis institucional para

instituciones SIR

Indicadores

• Outputs– Producción total, primaria y secundaria

• Citas y Citas por documento• % de documentos citados• % colaboración internacional• Nivel medio de las publicaciones (ASSJR)• Potencial investigador• Impacto normalizado por campos

– Métodos de Leiden y Karolinska• Producción primaria ponderada

Respuestas

• SIR contesta:– ¿Dónde se encuentra mi institución en los

diferentes contextos de analíticos?– ¿Por qué mi institución se encuentra en esa

posición?– Qué mejores prácticas de comunicación científica

podrían mejorar esa posición?

Sistemas de ES consolidados

Estados Unidos (29/285)

Reino Unido (9/75)

Alemania (2/56)

Holanda (0/13)

Suiza (0/8)

Francia (2/35)

Australia (5/31)

Canada (5/35)

Italia (2/43)

España (17/33)

-0.5 0 0.5 1 1.5 2

MEDIA MUNDIAL

Universidad Pompeu Fabra

Università Vita-Salute San Raffaele

University of Toronto

University of Melbourne

Ecole Normale Superieure de Paris

ETH Zurich

Erasmus Universiteit Rotterdam

Universität Mannheim London Bussines School

Rocke-felerUni-

versity

Sistemas de ES emergentes

Bra zi l (22 /1)

Ch i le (9 /1 )

Arg en tin a (10/0)

Colom bia (4/1)

Mex ic o (9/0)

Ve ne zue la (5 /0)

Ch ina (18 0/6)

Ind ia (4 2/5)

I ran (17 /2)

Ru sia (9/0)

Sud afric a (8/3)

Korea d el Su r (4 9/10 )

Pe rú (3/3)

-1.2 -1 -0 .8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6

ME DI A M UN DI AL

Pohang U.

Cape Town U.

Saratovskij G osudar stvennyj

Raz i U niversity

Ta ta Institu te

Don gHu a Unive rsity

Univers idad de los Andes

Univers idad de Sonor a

Unive rsid ad d e Lo s And es

Unive rsida d Nac ion al de l Li to ral

Po nti fici a U. Ca tól i ca de Ch il e

Uni ver sid ad e Fed eral de Pe lo tas

M EDI A M UN D IA L

U. Cay eta no He re dia

Impactos normalizados por paises

0.00

0.20

0.40

0.60

0.80

1.00

1.20

1.40

1.60

cr1.23

pr1.07

ve0.71

pa1.48

cu0.62

co0.90uy

0.92

ec0.98

mx0.78

ar0.82

pe1.06

br0.77

cl0.98

1 2 3 4 5 6 70.4

0.5

0.6

0.7

0.8

0.9

1

1.1

1.2

1.3

Chile

Católica de Chile

Concepción

Santiago de ChileAustral de Chile

Federico Santa MaríaCatólica de Valparaiso

La Frontera

Talca

Valparaíso

Andres Bello

Bío Bío

La Serena

Diego Portales

Los Andes

Los Lagos

Magallanes

El Desarrollo

Católica del Norte

Citas por Documento

Impa

cto

Nor

mal

izado

+ Impacto

- Impacto

Relación Producción/impacto

Producción bruta frente a ponderada

Universi

dad de C

hile

Pontificia Unive

rsidad

Catolica

de Chile

Universi

dad de C

oncepcio

n

Universi

dad de S

antiag

o de Chile

Universi

dad Austr

al de C

hile

Universi

dad Te

cnica

Federi

co Santa

Maria

Pontificia Unive

rsidad

Catolica

de Valp

araiso

Universi

dad Cato

lica del N

orte

Universi

dad de la

Fronter

a

Universi

dad de T

alca

Universi

dad de V

alpara

iso

Universi

dad Naci

onal Andres

Bello

Universi

dad de A

ntofagast

a

Universi

dad de T

arapaca

Universi

dad del B

io Bio

Universi

dad de L

a Sere

na

Universi

dad Dieg

o Portales

Universi

dad de lo

s Andes

Universi

dad de L

os Lag

os

Universi

dad de M

agall

anes

Universi

dad del D

esarro

llo

Universi

dad Cato

lica de la

Santisim

a Concep

cion

Universi

dad Cato

lica de T

emuco

Universi

dad Artu

ro Prat

Universi

dad Te

cnologic

a Metr

opolitana

Universi

dad M

ayor

Universi

dad Adolfo

Iba?e

z

Universi

dad Cato

lica del M

aule

Universi

dad Sa

nto Tomas

Universi

dad Sa

n Sebasti

an

Universi

dad M

etropolita

na de C

iencia

s de la

Educac

ion

Universi

dad del M

ar

Universi

dad Albert

o Hurtado

Universi

dad de A

tacam

a

Universi

dad de P

laya A

ncha de C

iencia

s de la

Educac

ion

Universi

dad de V

i?a del

Mar

Universi

dad Cen

tral d

e Chile

Universi

dad Acad

emia

de Human

ismo Cris

tiano

Universi

dad La

Republica

0

1000

2000

3000

4000

5000

6000

0 1000 2000 3000 4000 5000 60000

1000

2000

3000

4000

5000

6000R² = 0.991339066837076

Organización Outputs CxD INUniversidad de Chile 5853 5.09 0.98Pontificia Universidad Católica de Chile 3748 6.47 1.14Universidad de Concepción 2474 4.87 0.96Universidad de Santiago de Chile 1074 3.64 0.78Universidad Austral de Chile 996 3.99 0.76Universidad Tecnica Federico Santa Maria 728 2.55 0.82Pontificia Universidad Católica de Valparaíso 506 3.19 0.79Universidad Católica del Norte 432 3.87 0.85Universidad de la Frontera 422 3.18 0.79Universidad de Talca 370 2.71 0.75Universidad de Valparaíso 315 2.66 0.54Universidad Nacional Andrés Bello 219 3.91 0.8Universidad de Antofagasta 207 3.39 0.7Universidad de Tarapacá 158 2.56 0.69Universidad del Bio Bio 147 1.56 0.43Universidad de La Serena 141 3.4 0.65Universidad Diego Portales 128 2.29 0.74Universidad de los Andes 123 2.89 0.7Universidad de Los Lagos 122 3.49 0.77Universidad de Magallanes 112 3.35 0.89

PP = 5735,94 < PP = 4272,72 >

Organización Outputs CxD INUniversidad del Desarrollo 106 3.32 1.08Universidad Católica de la Santísima Concepción 97 3.11 0.64Universidad Católica de Temuco 85 1.78 0.57Universidad Arturo Prat 82 1.57 0.34Universidad Tecnológica Metropolitana 55 2.67 0.7 Universidad Mayor 51 1.92 0.54Universidad Adolfo Ibañez 48 1.35 0.67Universidad Católica del Maule 45 1.69 0.66Universidad Santo Tomas 37 4.14 1.19Universidad San Sebastián 32 1.72 0.41Universidad Metropolitana de Ciencias de la Educacion 29 4.17 0.74Universidad del Mar 20 5.15 1.32Universidad Alberto Hurtado 18 1 0.97Universidad de Atacama 17 2.12 1.1Universidad de Playa Ancha de Ciencias de la Educación 14 2.43 0.41Universidad de Viña del Mar 13 0.54 0.22Universidad Central de Chile 8 0.25 0.05Universidad Academia de Humanismo Cristiano 7 0.43 0.15Universidad La República 3 0.33 0.14