piątek, 27 stycznia 2017

RANKINGI NAUKOWE I CIEKAWOSTKA PSYCHIATRYCZNA

Noworoczny numer PAUzy zawiera relację z tomaszowickiej debaty Polskiej Akademii Umiejętności poświęconej finansowaniu nauki. Podczas obrad padały różne propozycje na temat rozporządzania funduszami na naukę, w szczególności zaś dzielenia ich na działalność statutową (DS) i granty.

Dyskutowano m.in. nad zmianami w strukturze DS, polegającymi na wydzieleniu z nich części przeznaczonej na działalność dydaktyczną, która powinna "zapewnić stabilność finansową nawet słabszym uczelniom" i część naukową, która "winna być konkurencyjna". To bardzo ekstrawaganckie rozwiązanie, biorąc pod uwagę fakt, że obecnie fundusze DS, czy to podzielone, czy nie podzielone, nie są w stanie zapewnić stabilności finansowej znacznej części nieźle sparametryzowanych wydziałów, a pan wicepremier Gowin (obecny na obradach) nie obiecał znaczącego wzrostu finansowania a tylko "niewielką poprawę" w 2017 roku. Najwidoczniej nasi uczeni, regularnie ogłupiani nigdy nie spełnionymi wizjami olbrzymiego napływu funduszy popadli w nieuleczalny nawyk teoretyzowania, jak ten wirtualny nadmiar pieniędzy zagospodarować. I tak im już zostało.
Podczas sabatu w Tomaszowicach żywo dyskutowano także nad podziałem finansowania na fundusze "statutowe" i "grantowe", a także w celu ustalenia, które z nich są bardziej "projakościowe". Jak można było z góry przewidzieć, dyskutujący opowiedzieli się za skierowaniem "przyszłego wzrostu finansowania" w kierunku agencji przyznających granty. Z powodu w/w nawyku fantazje uczonych dotyczyły i w tym przypadku funduszy wirtualnych, ulokowanych w bliżej nieokreślonej przyszłości. Obecna na sali ekstrema wysunęła propozycję zwiększenia liczby agencji przyznających granty, "a nawet ograniczenie DS do kosztów utrzymania instytucji i przerzucenia finansowania badań wyłącznie na granty".   

Źródłem tych wszystkich pomysłów było, jak można się domyślić, głębokie przekonanie dyskutantów, że system grantowy jest bardziej projakościowy. Aby dociec, skąd się to u nich wzięło, należy przeanalizować kryteria jakości stosowane w nauce. Jeśli weźmiemy pod uwapublikacje naukowe, stanowiące zwieńczenie wysiłków większości uczonych, to oceniać je można na drodze eksperckiej, liczby punktów ministerialnych, impakt faktora, liczby cytacji. Ocena ekspercka jest najlepszym rozwiązaniem w przypadku podejmowania decyzji o odrzuceniu/przyjęciu pracy do druku lub jej nagrodzenia. Wtedy wąskie grono specjalistów może się nad konkretną pracą pochylić i ją dokładnie przeanalizować, chociaż właściwa decyzja nie jest nawet w tym przypadku gwarantowana. Eksperci nie mogą jednak pochylać się nad dziesiątkami czy setkami tysięcy prac wytworzonych w całym państwie. Potrzebne tu są inne, łatwiejsze w zastosowaniu miary. Punkty ministerialne bądź impakt faktory to miary poziomu czasopism, w związku z tym posługiwanie się nimi w celu określenia jakości produkcji naukowej całego kraju, danego uczonego czy nawet konkretnej pracy jest zwyczajną głupotą. Jeśli już mielibyśmy posługiwać się tą miarą, to jedynie w celu określenia np. poziomu danego czasopisma lub (sumarycznie) ogółu czasopism wydawanych w danym kraju. Byłaby to zresztą niezła miara jego poziomu naukowego, bo  wiadomo - jaka nauka, takie i czasopisma. Nikt u nas nie próbuje jej jednak w odniesieniu do Polski zastosować. A szkoda, bo mielibyśmy z tego niezły ubaw. Ze wszystkich możliwych miar pozostaje więc liczba cytowań, która wydaje się najlepiej nadawać do pomiaru jakości pojedynczej publikacji, a także, w postaci średniej liczby cytowań na publikację, do pomiaru jakości dorobku danego uczonego bądź całego państwa. W większości przypadków sprawdza się ona, bowiem tak się składa, że uczeni częściej cytują pozycje uznawane przez nich za ważne, a znacznie rzadziej przyczynki, powtórzenia i rzeczy słabe, masowo drukowane nie tylko w kiepskich, ale i wyśmienitych czasopismach, którym dla podtrzymania wysokiej renomy wystarczy zamieszczenie kilku doskonałych prac w ciągu roku. Od dawna próbuje to bezskutecznie uświadomić punktowym oszołomom prof. Wróblewski. 

Z wyszczególnionych wyżej względów, światowe bazy publikacji naukowych nie zawierają w wykazach dotyczących dorobku konkretnych krajów takich pozycji jak np. punkty wystrugane przez biurokratów czy wspomniane wyżej impakt faktory. Wśród ogłaszanych corocznie współczynników dwa najważniejsze to całkowita liczba prac i przeciętna liczba cytowań na pracę. Ten pierwszy jest ogólną miarą wielkości produkcji naukowej, drugi zaś stanowi podstawową miarę jej jakości

No to możemy już wrócić do zagadnienia podstawowego, mianowicie do pytania, czy przekonanie mandarynów polskiej nauki o tym, że nasz system grantowy jest bardziej projakościowy niż system DS-ów jest słuszne. By to sprawdzić, wystarczy sięgnąć do bazy SCOPUS (przetwarzającej dane z największej liczby czasopism naukowych). Zawiera ona dane od 1996 roku, kiedy to system grantowy u nas dopiero raczkował, a finansowanie nauki opierało się głównie na dotacjach statutowych (DS) i zlikwidowanych już całkowicie dotacjach na badania własne (BW). Od tego czasu, głównie kosztem BW i DS, udział finansowania poprzez granty uległ znacznemu rozbudowaniu, co powinno zaowocować już znaczącym podniesieniem jakości badań (a więc zwiększeniem przeciętnej liczby cytowań prac publikowanych przez polskich uczonych).  

By dowiedzieć się, czy tak to u nas zadziałało, najlepiej porównać miejsce, na którym plasuje się nasz kraj pod względem liczby opublikowanych prac i pod względem przeciętnej ich cytowalności. Jeśli nasz kraj zajmuje niższą pozycję w rankingu cytowalności prac niż w rankingu ilościowym, to znaczy że marnuje pieniądze na produkcję słabych publikacji, jeśli wyższą, to znaczy że wdrożył system promujący jakość w nauce. Przedstawiony niżej wykres zawiera dane z 20 ostatnich lat (1996-2015) dla całej nauki krajowej (wszystkie dziedziny):

Przy pobieraniu danych z portalu Scimago Journal & Country Rank http://www.scimagojr.com/index.php (opartego na bazie SCOPUS) wzięto pod uwagę jedynie te państwa, których produkcja naukowa była znacząca (przekraczała 5500 prac na rok). Było to konieczne, bowiem w innym przypadku, w poszczególnych latach, przeróżne egzotyczne krainy (np. Gabon) wysuwały się z powodu jednej czy dwóch wysoko cytowanych prac na czoło rankingu przed USA, Wielką Brytanię, Szwajcarię itp., o Polsce nie wspominając. Oś pionowa - omawiana różnica miejsc w rankingu, oś pozioma - lata 1996-2015.
 
Jak widać, w 1996 roku zajmowaliśmy w zakresie cytowalności pozycję o 6 miejsc gorszą niż w zakresie produktywności (liczba publikacji cytowalnych). Nie było najlepiej i z pewnością należało to poprawić. Obecnie (2015) jest jednak znacznie gorzej niż przed dwudziestu laty (różnica 16-tu miejsc).
Przeczuwając jeszcze większe nieszczęście w bliżej znanych mi dziedzinach, dokonałem podobnego porównania dla obszaru nauk rolniczych i biologicznych (Agricultural and Biological Sciences):

Przy pobieraniu danych z portalu Scimago Journal & Country Rank (opartego na bazie SCOPUS) wzięto pod uwagę jedynie te państwa, których produkcja naukowa była w rozpatrywanej dziedzinie znacząca (przekraczała 800 prac na rok). Oś pionowa - omawiana różnica miejsc w rankingu, oś pozioma - lata 1996-2015.

W 1996 roku wskaźnik cytowalności był tu zbliżony do wskaźnika produktywności. W następnych latach gwałtownie spadał, by osiągnąć w relacji do produktywności wartość -21 w 2015 roku. Było więc nieźle, a jest tragicznie.

Podsumowując, kierowanie coraz większej ilości pieniędzy na granty pociągnęło za sobą bezprecedensowe obniżenie poziomu prac polskich naukowców. Najwyższy poziom ich publikacje prezentowały w czasie gdy system grantowy był u nas w powijakach, a większość prac finansowana była za pomocą DS i BW. Co więcej, rozbudowa systemu grantowego nie przyniósła nawet polepszenia pozycji Polski pod względem liczby publikacji, co obrazuje poniższy wykres:

Wg danych z portalu Scimago Journal & Country Rank. Oś pionowa - miejsce w rankingu (citable documents), oś pozioma - lata 1996-2015.

Tak więc wszystkie koncepcje uczelnianych mandarynów i ministerialnej szlachty w zakresie ulepszania polskiej nauki okazały się przeciwskuteczne. Produkujemy nie więcej (relatywnie rzecz ujmując) prac niż 20 lat temu, a ich jakość jest znacznie gorsza. Mimo to, chybione pomysły forsowane są nadal, a ich autorzy sprawiają wrażenie bardzo z siebie zadowolonych. Taka ciekawostka psychiatryczna.

Brak komentarzy:

Prześlij komentarz