BIBLIOMETRIA ZREFORMOWANA

Ponieważ, jak wiadomo [1] impakt faktor czasopisma nie może być używany do oceny jakości prac w nim zamieszczanych, a tym bardziej do oceny osiągnięć badaczy, MNiSW przyjęło go za podstawę ewaluacji prac, badaczy i jednostek naukowych (po przeliczeniu na tzw. punkty MNiSW, które mają być podobno bardziej obiektywne, a co za tym idzie sprawiedliwe). Po chwilowym szoku, badacze się szybko dostosowali do polityki ewaluacyjnej ministerstwa i podjęli wysiłek publikowania w czasopismach wysoko punktowanych. Zrozumieli, że nie ważne jest, co publikują, ale gdzie to zostało wydrukowane. Walka na impakt faktory trwa.

Nie zmienia to oczywiście faktu, że prawdziwą miarą jakości pracy uczonego jest liczba cytacji, jaką uzyskały jego prace, po odjęciu autocytacji (patrz tutaj). 

Podejście impaktocentryczne rodzi różne patologie, najgorsza z nich to niezasłużona premia dla tych, którzy (z różnych, często pozamerytorycznych względów, o których nie będę tutaj wspominał) doszli do zdumiewającej sprawności w publikowaniu słabych prac w czasopismach wysoko punktowanych. Prace osób żerujących na impakt faktorach charakteryzują się cytowalnością znacznie niższą, niż wskazywał by na to IF czasopism, w których zostały opublikowane. Ze sposobu liczenia IF wynika, że 1 punkt czasopismo uzyskuje wtedy, gdy przeciętna publikowania w nim praca przysparza mu 2 cytacji (i to już w pierwszych dwóch latach po opublikowaniu). Przyjmując najskromniejsze założenie, że w późniejszych latach powinna być też jeszcze cytowana, możemy wyliczyć, jaką minimalną cytowalnością powinna charakteryzować się praca, by zasługiwała na druk w czasopiśmie o określonym współczynniku wpływu. Odcinając manipulacje własne autora pracy (czyli uwzględniając jedynie cytacje obce), powinna ona, skromnie licząc, uzyskać liczbę cytacji trzykrotnie wyższą niż IF czasopisma. Należy tu zauważyć, że czym wyższy IF czasopisma, tym wyższe prawdopodobieństwo cytacji obcych zamieszczonej w nim pracy, i to bez względu na jej jakość [2], co stanowi dodatkowy bonus dla autorów publikujących w dobrych czasopismach. 

Aby wyliczyć więc, czy dana praca osiągnęła co najmniej średni poziom dla danego czasopisma, należy od liczby cytacji obcych, które uzyskała, odjąć trzykrotność zaokrąglonego IF czasopisma. Wartość > 0 świadczy o tym, że jest przeciętnie lepsza, natomiast < 0 że jest gorsza. W ten sam sposób można oceniać całkowity dorobek danego autora w odniesieniu do sumarycznego IF, który uzyskał. Posługując się ogólnie dostępnymi danymi, wyliczyłem współczynnik (Q - od quality) dla 23 autorów (w różnym wieku i z różnym dorobkiem) w jednej z dziedzin nauk biologicznych. Wyniki wyglądają nadzwyczaj interesująco:

Okazuje się, że 30% autorów uzyskuje niezasłużoną premię z tytułu publikowania słabych prac w czasopismach o przyzwoitym IF. Niektórzy, chlubiący się wysokimi wartościami IF okazali się prawdziwymi artystami w dziedzinie upychania swoich prac tam, gdzie znaleźć się nie powinny. 

Do takich oto wniosków doprowadza bibliometria zreformowana.

[1] Seglen P.O. 1997. Why the impact factor of journals should not be used for evaluating research. BMJ 314: 498-502.

[2] Perneger T.V. 2010. Citation analysis of identical consensus statements revealed journal-related bias. Journal of Clinical Epidemiology 63: 660-664.