Zasady oceny parametrycznej jednostek naukowych, a lista czasopism punktowanych

Konferencja „Sukces Czasopisma Naukowego…”, Warszawa 27-28 październik 2017 r.

Leszek Stypułkowski leszek.stypulkowski@indexcopernicus.com

1. Historia tzw. „Listy czasopism punktowanych”

- wykres prezentujący historię listy czasopism punktowanych MNiSW

- historia ewaluacji czasopism naukowych

- plany dotyczące rozwoju czasopism naukowych w Polsce

- ustawa 2.0.

2. Wpływ punktacji czasopism naukowych na kategorię jednostek naukowych – klasypunktowe na liście czasopism punktowanych

- klasy punktowe na liście czasopism punktowanych

- struktura publikacji w klasach punktowych a kategoria jednostki naukowej

- oczekiwania Ustawodawcy w zakresie publikacji (3N-2N0)

- wady zasady dziedziczenia prestiżu – punktacja czasopism a liczba cytowań

3. Przyszły kształt listy czasopism punktowanych

- spodziewany termin publikacji nowej listy czasopism naukowych

- nowa lista czasopism punktowanych, a sprawa polska

Agenda

Historia listy czasopism punktowanych

ETAP I (do roku 2012) ETAP II (2012 – 2015) ETAP III (2016 – dziś) ETAP IV (ustawa 2.0)

Przed pierwszą oceną parametryczną jednostek

naukowych

Ewaluacja czasopism w ramach projektu POL-on

Ewaluacja czasopism po zakończeniu projektu POL-

on

Lista czasopism w kontekście ustawy 2.0

Lista A – ocena czasopism z listy filadelfijskiej

Lista B – ocena pozostałych czasopism polskich i zagranicznych

2012Lista A - ocena w oparciu oposiadany IFLista B - ankieta złożona onlineLista C - baza ERIH

2013Lista A - ocena w oparciu oposiadany IFLista B - ankieta złożona onlineLista C -baza ERIH

2014brak przeprowadzonej oceny

2015Lista B - ograniczona do krajowych czasopism naukowych oraz dodanie oceny eksperckiej i podniesienie maksymalnej oceny do 15 pkt

2016brak przeprowadzonej oceny

2017 brak przeprowadzonej oceny

ujednolicony wykaz czasopism na potrzeby oceny jednostek naukowych (2013-2016)

Założenia:

Lista A i C zastąpiona przez ministerialny wykaz czasopism indeksowanych w międzynarodowych bazach

Lista B ujednolicona punktacja dla czasopism spełniających jedynie wymogi formalne

Definicja funkcjonalna czasopisma naukowego

Funkcja celu działania czasopisma naukowego (Index Copernicus):

• dotarcie z opublikowanym w czasopiśmie artkułem naukowym do jak

największej liczby odbiorców (naukowców) na świecie, którzy wyniki

opublikowanej pracy mogą zastosować w swoich własnych badaniach i –

później – publikacjach.

Jedynym uznanym „dowodem” na osiągnięcie celu jest odnotowanie publikacji

w kolejnym artykule naukowym – zacytowanie.

Dotąd nie przeprowadzono kompleksowego zliczenia cytowań w skali kraju,

uwzględniającego analizę wszystkich notacji opublikowanych prac we wszystkich

wydanych pracach naukowych.

Ocena parametryczna jak podstawa dopuszczenia czasopism na listę „B”

Cele Kryterium oceny parametrycznej (lista B) Efekty spełnienia kryterium

Digitalizacja

Indeksacja w bazach danych zniesienie ograniczeń dostępności czasopisma w kraju spowodowanych niskim nakładem drukowanymWersje on-line

Internacjonalizacja

Język publikacji Zniesienie ograniczeń dostępnościczasopisma na arenie międzynarodowej oraz promocja czasopisma za granicą Umiędzynarodowienie recenzentów

Kooperacja

Umiędzynarodowienie recenzentów Budowanie międzynarodowej pozycji czasopisma poprzez wykorzystanie synergii między niezależnymi instytucjami naukowymi, zaangażowanie w rozwój czasopisma osób spoza jednostki – w tym z zagranicy

Liczba artykułów naukowych publikowanych/rok

Częstotliwość/regularność wydawania

Plany dotyczące rozwoju polskich czasopism naukowych n podstawie pierwszej oceny parametrycznej za rok 2012

2016201520142013

3

1 2

4

Rozpoczęcie pracy nad stworzeniem systemu do gromadzenia danych do PWW

Re

kom

en

dac

je

Zgromadzenie 20% polskich cytowań w PWW

Zgromadzenie 50% polskich cytowań w PWW

Zgromadzenie 80% polskich cytowań w PWW

Komunikacja celów stawianych przez MNiSW polskim czasopismom naukowym nie posiadającym obliczonego wskaźnika cytowalności

Podniesienie poziomu realizacji kryteriów oceny niezbędnego do uzyskania punktów. Zwiększenie udziału PWW w ocenie parametrycznej do 20%

Kolejne podniesienie poziomu realizacji kryteriów oceny. Zwiększenie udziału PWW w ocenie parametrycznej do 50%

Zwiększenie udziału PWW w ocenie

czasopism do 80%

(Digitalizacjia, Internacjonalizacja i Kooperacja staną się

warunkiem koniecznym).

Krótka międzynarodowa kariera listy B

Polska87%

UE154%

UEnowi

członkowie2%

reszta świata7%

Zagraniczne czasopisma doceniły metodykę oceny czasopism naukowych prowadzonej przez MNISW

Polska68%

UE156%

UEnowi

członkowie5%

reszta świata

21%

2012 2013

Krótka historia Polski jako regionalnego ośrodka ewaluacji nauki

1 Polska 20272 Indie 2663 Wielka Brytania 934 Stany Zjednoczone 915 Rumunia 766 Ukraina 547 Szwajcaria 368 Litwa 329 Turcja 2610 Chiny 2011 Włochy 2012 Iran 1813 Grecja 1614 Słowacja 1415 Czechy 1316 Niemcy 1317 Serbia 1218 Hongkong 1119 Rosja 1120 Hiszpania 10

Polska liderem ewaluacji czasopism naukowych w regionie

IzraelLibiaCzarnogóraMacedoniaOmanPeruSingapurWenezuelaRPA

FrancjaIndonezjaMarokoPortugaliaFinlandiaWęgryJaponiaHolandiaAustriaAzerbejdżanAlgieriaEgipt

BułgariaNigeriaKanadaChorwacjaPakistanSłoweniaBrazyliaTajlandiaBangladeszKolumbiaMalezjaBośnia i Hercegowina

Korea PołudniowaŁotwaMołdawiaNepalSzwecjaZjednoczone Emiraty ArabskieAlbaniaAustraliaBelgiaBoliwiaEtiopiaIrlandia

• Publikacje w czasopismach naukowych wchodzą do karty oceny w kryterium I

(osiągnięci naukowe i twórcze), decydują o katgorii jednostki naukowej od 60%

do 80%

• Obowiązuje zasada dziedziczenia prestiżu – publikacja w czasopiśmie

naukowym jest warta tyle, ile czasopismo, którego redakcja zdecydowała się

na opublikowanie danej publikacji

o Punkty za publikacje tzw. wielośrodkowe są rozdzielane między jednostki

naukowe, do których publikację afiliują autorzy

• Punkty za publikacje naliczane są automatycznie (członkowie Zespołów

Oceniających KEJN mogą podjąć decyzję o nieuznaniu danej publikacji, ale nie

mogą zmienić jej oceny punktowej)

Punktacja czasopism naukowych, a ewaluacja jednostek naukowych

Co oznacza ograniczenie liczby publikacji, które mogą wejść do karty oceny

(utrzymane w zasadach ewaluacji od roku 2009)?

3N-2N0

1. Ustawodawca oczekuje, że każdy naukowiec zgłosi 3 najlepsze publikacje

wydane w ciągu 4 lat objętych ewaluacją;

2. Wskaźnikiem oceny dorobku publikacyjnego nie jest więc łączna suma

punktów za publikacje, ale średnia wartość punktów 3 najlepszych publikacji

przygotowanych w ciągu 4 lat;

Oczekiwania ustawodawcy w zakresie liczby publikacji

Klasy punktowe publikacji – porównanie jednostek z grupy HS1EK w poszczególnych kategoriach bieżącej parametryzacji znormalizowane do wielkości jednostki N=100

Lista MNISW Punktacja

Liczba publikacji 2013-2016

Nauki humanistyczne i społeczne (HS1EK)

Kategoria A+ Kategoria A Kategoria B Kategoria C

List

a A

50 1 0 0 0

45 4 0 0 0

40 13 1 4 1

35 10 0 4 0

30 35 0 1 2

25 31 2 1 2

20 44 5 0 2

15 41 0 7 1

List

a B

ora

z C

15 21 77 5 0

14 83 152 54 9

13 18 45 23 17

12 45 70 60 19

11 21 54 43 13

10 67 193 96 45

9 94 164 181 27

8 72 81 44 204

7 14 63 27 23

6 7 27 42 26

5 13 9 30 10

4 6 1 0 3

3 1 0 0 0

2 0 0 0 4

1 0 0 0 0

Łączna liczba publikacji 1124 1656 1155 604

Źródło: ICI Science Evaluation – dane wystandaryzowane do wielkości N=100

Struktura publikacji, a kategoria naukowa jednostek naukowych

Rozkład punktowy publikacji w latach 2013-2016w zależności od uzyskanej kategorii naukowej jednostki

Struktura publikacji, a kategoria naukowa jednostek naukowych

Rozkład punktowy publikacji w latach 2013-2016w zależności od uzyskanej kategorii naukowej jednostki

Struktura publikacji, a kategoria naukowa jednostek naukowych

Rozkład punktowy publikacji w latach 2013-2016w zależności od uzyskanej kategorii naukowej jednostki

Struktura publikacji, a kategoria naukowa jednostek naukowych

Rozkład punktowy publikacji w latach 2013-2016w zależności od uzyskanej kategorii naukowej jednostki

Struktura publikacji, a kategoria naukowa jednostek naukowych

Rozkład punktowy publikacji w latach 2013-2016w zależności od uzyskanej kategorii naukowej jednostki

Klasy punktowe publikacji – przykładowa struktura

Lista MNISW Punktacja

Liczba publikacji 2013-2016

Nauki humanistyczne i społeczne (HS1EK)

Kategoria A+ Kategoria A Kategoria B Kategoria C

List

a A

50 1 0 0 0

45 4 0 0 0

40 13 1 4 1

35 10 0 4 0

30 35 0 1 2

25 31 2 1 2

20 44 5 0 2

15 41 0 7 1

List

a B

15 21 77 5 0

14 83 152 54 9

13 18 45 23 17

12 45 70 60 19

11 21 54 43 13

10 67 193 96 45

9 94 164 181 27

8 72 81 44 204

7 14 63 27 23

6 7 27 42 26

5 13 9 30 10

4 6 1 0 3

3 1 0 0 0

2 0 0 0 4

1 0 0 0 0

Łączna liczba publikacji 1124 1656 1155 604

Liczba publikacji nieuwzględnionych w karcie oceny

483 712 533 196

Odsetek nieuwzględnionych publikacji 43% 43% 46% 32%

Punktacja czasopism, a liczba cytowań

– dziedzina nauk prawniczych

https://journals.indexcopernicus.com

Punktacja czasopism, a liczba cytowań

Cytowania pochodzące z lat

2010 – 2015

Liczba czasopismw przedziale

0 11

1 – 15 62

16 – 30 26

31 – 60 33

61 – 100 25

101 – 200 22

201 – 300 16

301 – 600 13

601 – 1 000 7

1 000 – 3 000 6

Łącznie 221

0

10

20

30

40

50

60

70

Czasopisma z liczbą cytowań w danym przedzialeDyscyplina: Prawo

Źródło: Opracowanie własne na podstawie danych z systemu ICI World of Journals

Punktacja czasopism, a liczba cytowań

Cytowania pochodzące

z lat1993 - 2015

Punktacja MNiSW

2015

Liczba czasopism

% badanej populacji

Mniej niż 120

Od 8do 15

59 27%

Ponad120

Od 0do 7

24 11%

Ponad500

Od 8do 15

12 5%

Źródło: Opracowanie własne na podstawie danychz systemu ICI World of Journals

Punktacja czasopism, a liczba cytowań

Case study

Spośród czasopism, które w ewaluacji MNiSW za rok 2015 uzyskały ponad 8 punktów, 73% czasopism ma poniżej 221 cytowań.

Spośród czasopism, które w ewaluacji MNiSW za rok 2015 uzyskały mniej niż 8 punktów, 33% czasopism ma powyżej 68 cytowań.

Tytuł

Cytowania pochodzące

z lat1993 - 2015

Punktacja MNiSW

2015

Prokuraturai Prawo

2679 4

Przegląd Prawa Handlowego

2535 11

Państwoi Prawo

1878 13

Źródło: Opracowanie własne na podstawie danych z systemu ICI World of Journals

1. Jednolita lista czasopism punktowanych - Wykaz Czasopism Naukowych

2. Ministerialna lista wydawnictw punktowanych (na potrzeby wydawania

monografii) – Wykaz Wydawców Naukowych

3. Przekształcenie listy B w nisko punktowany ryczałt

4. Program wsparcia dla najlepszych polskich czasopism

5. Pierwsze listy zostaną opublikowane po wejściu w życie Ustawy 2.0, a w

kolejnych latach listy publikowane będą na początku roku, żeby punktacja za

publikacje była z góry znana

6. Program „Pakiet technologiczny dla czasopism” mający pomóc czasopismom

naukowym w konkurowaniu na światowym rynku nauki

Główne założenia dotyczące listy czasopism punktowanych w propozycji Ustawy 2.0

1. Jaką wymierną korzyść ma polska nauka z tego, by polscy naukowcy

publikowali głównie (masowo) w zagranicznych czasopismach?

2. Czy jest wymierna korzyść dla polskiej nauki, by czasopisma zagraniczne

wspierać lub promować bardziej, niż polskie czasopisma naukowe?

3. Czy polskie czasopisma mogą stać się pożądanym forum dla promocji

światowej nauki?

4. Co powinny zrobić wydawcy polskich czasopism, by ich periodyki osiągnęły

międzynarodowe uznanie i zachęciły zagranicznych autorów do publikowania?

Międzynarodowe czasopisma naukowe, a „sprawa polska”

Znalezienie się na wykazie czasopism punktowanych MNiSW w roku 2018:

1. Zapewnienie czasopismu miejsca w grupie „najlepszych czasopism”:

1.1 Wykazanie siły oddziaływania czasopisma poprzez uzyskanie wyliczonego

wskaźnika cytowań

1.2 Indeksacja w międzynarodowych bazach danych, które zostaną uwzględnione jako

bazy referencyjne oraz uzyskanie odpowiedniego ratingu

2. Aktywny udział w dyskusji dotyczącej roli czasopism naukowych afiliowanych

do polskich instytucji nauki w przyszłej ocenie parametrycznej.

Sukces czasopisma naukowego w perspektywie Ustawy 2.0.

Dziękuję za uwagę!

Leszek Stypułkowski – główny autor

Paulina Najdychor – współautorka, asystentka naukowa