Javne recenzije znanstvenih radova — promjena koja dolazi?
Recenzija znanstvenih istraživanja i rezultata; pregled radova kolega, prepoznavanje prednosti, ali i potencijalnih mana radova, jedan je od osnovnih elemenata znanosti. Danas se godišnje recenzira preko 2 milijuna radova, bez ikakve kompenzacije recenzentima i s minimalnim prepoznavanjem uloženog vremena. Ovakav sustav dokaz je zajedništva znanstvenika i kolektivnog rada ka kvalitetnom stvaranju novih znanja i otkrića.
Ovakav sustav nastao je u pred-internetsko doba
Tradicionalni sustav objavljivanja ilustriran je slikom 1. Ipak, možemo se zapitati o ulozi časopisa u današnje internetsko doba. Naime, časopisi objavljuju radove, dirigiraju načine recenziranja, cijene i koje informacije dolaze do javnosti, ali zapravo minimalno doprinose sustavu znanosti. Istovremeno, pogledom u povijest, lako postaje očito da je ovakav sustav objavljivanja znanstvenih radova poprilično zastario.
Naime, sustav objavljivanja, gdje časopisi recenziraju radove i odabiru samo nekolicinu njih, sustav je koji je razvijen u pred-internetsko doba kada su broj objavljenih radova dirigirale cijene i mogućnost fizičkog tiskanja radova, uvezivanja u časopise te slanja nekoliko puta godišnje.
Dolaskom interneta, koji je zapravo primarno i razvijen kako bi znanstvenici mogli lakše komunicirati, sustav objavljivanja minimalno se promijenio — slanje radova je online, komunikacija je online i radovi se objavljuju u pdf-u umjesto u fizičkom obliku, ali ništa se fundamentalno nije promijenilo. Mogućnosti koje nam internet, tehnologije pretraživanja i strojnog učenja omogućavaju ostale su neiskorištene.
Propuštene prilike
Mnogo je mana ovakvog sustava, a još više propuštenih prilika u današnje doba naprednih tehnologija.
Danas zapravo ovakav sustav uskraćuje informacije i znanstvena saznanja. Prije svega, recenzije često sadrže veoma bitne informacije i kontekstualiziraju rad; koje su prednosti i nedostatci rada, koje su inovativne ideje, koja su pitanja ostala neodgovorena, koji su budući koraci, kako se rad uklapa u širu sliku i koji su potencijalni utjecaji na područje, društvo, zajednicu. Sve ove informacije ostaju uskraćene drugim znanstvenicima.
Uvid u recenzije direktno može pomoći čitateljima, čije komentare mogu uzeti u obzir prilikom čitanja rada. Oni koji se ne osjećaju stručnima i dovoljno upućenima u pojedino područje, mogu iznimno profitirati uvidom u recenzije i komentare od strane stručnjaka u tom području. Jednako tako, uvid u kvalitetne recenzije služi i kao primjer mladim istraživačima kako bi dobre recenzije trebale izgledati.
Časopisi su na neki način postali ‘valuta’ akademske karijere i institucionalizirali su praksu vrednovanja znanstvenika prema tome gdje objavljuju, a ne što objavljuju i koliko doprinose znanstvenoj zajednici na druge načine, recimo koliko su kvalitetni mentori i profesori itd. Vrednovanje znanstvenika gotovo je jednodimenzionalno, upravo zbog ogromnog utjecaja časopisa. Istovremeno je to utjecalo i transformiralo same časopise pa su umjesto primarnog fokusa na komuniciranje znanosti (u pred-internetsko doba) danas časopisi postali ‘gatekeepers’ čije ocjene — koje su pak često pod utjecajem pristranosti, površnosti, statusa i moći, određuju koja istraživanja dobiju priliku zasjati i koji će znanstvenici biti uspješni.
Kako bi sustav mogao izgledati?
Sustav koji bi služio i imao u fokusu primarno istraživače i znanost, a ne časopise, trebao bi se bazirati na nekoliko osnovnih ideja:
- Autori trebaju moći objaviti svoje radove i rezultate slobodno, javno i bez ograničenja, kad misle da su spremni.
- Sustave recenziranja se treba pomaknuti u period nakon objave (naravno uz moguće naknadne dorade rada, koje će biti vidljive). Na taj način smanjuje se vrijeme čekanja, smanjuje se pritisak na recenzente i daje se mogućnost znanstvenoj zajednici da interagira i validira rad na prirodniji način uključivanjem onih koji će koristiti rezultate rada.
- Recenzije radova i rezultata trebaju biti javno dostupne, transparentne, detaljno obrazložene i segmentirane, a ne samo binarni rezultat (ne) objave članka. Jednako tako, odgovori autora i popravljene verzije radova trebale bi biti javne. Recenzije bi trebale biti ‘journal-agnostic’ i više u obliku savjeta ili prijateljske konzultacije, kako bi i recenzenti bili spremniji biti javno navedeni, a ne anonimni.
- Posao recenziranja trebao bi se cijeniti i ‘bodovati’ u znanosti, kako bi se podizala kvaliteta samih recenzija.
Nedavni znanstveni rad (Stern and Shea, 2019.) koji se bavi ovom tematikom i prijedlogom promjena možete pronaći ovdje.
Mnogi bi mogli reći; ali što ako dopustimo objavljivanje svakakvih radova, kako u moru radova pronaći one kvalitetne. Realno i danas među objavljenim radovima nalazimo svakakve radove, no bez detaljnijih informacija o samoj vrijednosti rada. Čitati samo one radove objavljene u “vrhunskim” časopisima također više nema smisla, jer mnogo dobrih ideja, eksperimenata, a posebno negativnih rezultata, tamo neće biti objavljeno. Navigaciji kroz radove uvelike bi mogle pomoći segmentirane i detaljnije recenzije.
Tu nove tehnologije također tek čekaju na priliku. Povezivanje, pretraživanje i kontekstualiziranje radova prema temi, podatcima, autorima i vizualizizacije u obliku mreža i povezanih grafova, sve to uvelike može pomoći u pronalaženju bitnih radova. Faktori kao broj čitanja/preuzimanja radova, referenciranja, objava na društvenim medijima itd. postaju mnogo vrjedniji i informativniji nego sam časopis u kojem je rad objavljen. Područje nazvano ‘altmetrics’ bavi se upravo ovim pitanjem, kao i razvojem alternativnih metrika komplementarnih tradicionalnim metrikama temeljenim na citatima, s ciljem prikaza interesa za istraživanje i njegov širi utjecaj.
Promjene polako dolaze
Ovakve ideje predlagao je još 1998 tadašnji direktor Nacionalnog instituta za zdravlje (NIH) u Americi, Harold Varmus, ali su one tada naišle na potpuno nerazumijevanje.
Promjene su spore, jer su oni koji donose odluke upravo oni kojima je ovakav sustav pomogao u karijeri zbog čega ga nisu spremni mijenjati. Ipak, promjene se događaju.
Prvi korak je sve veći broj dostupnih baza preprintova, kao što su arXiv, bioRxiv, medRxiv, i sve veći broj radova objavljenih na njima [Slika 2]. Radovi objavljeni na takvim serverima sve češće i češće dosežu jednaku vrijednost kao i oni objavljeni u časopisima. Osim što objavljivanje radova na ovakvim preprint serverima ubrzava znanstvena istraživanja, što se pokazalo jako korisno kroz period pandemije, ovim se putem razvija i mentalitet otvorene znanosti. Otvorena znanost zagovara da znanstvena istraživanja, najčešće financirana javnim novcima ne smiju biti iza ‘paywalla’, a znanstvenici koji objavljuju svoje preprintove na taj način, šalju poruku i polako stvaraju pritisak časopisima za prelazak na otvorene modele objavljivanja članka.
Također, suptilno se šalje i poruka da radovi imaju vrijednost zbog svog sadržaja, a ne nužno samo zbog časopisa u kojem su imali priliku biti objavljeni. Ovo je posebno bitno za istraživanja u manjim zemljama i sveučilištima, s manje utjecajnim profesorima, količinom novaca i nedostatkom internacionalnih kolaboracija.
Lobiranje i zagovaranje novih kriterija za zapošljavanje i napredovanje koji uključuju mnogo više aspekata iznimno je bitno i polako se širi. Uključivanje faktora poput broj suradnji, broja open-source radova, podataka, kodova, kvalitete i broja recenzija, kvalitete podučavanja i mentorstva itd., uz standardni h-faktor i valoriziranje časopisa, iznimno je bitno za cijelu znanstvenu zajednicu, a posebno za buduće generacije znanstvenika.
Također, pojavili su se i časopisi i platforme koji javno objavljuju recenzije i mijenjaju način slanja, recenziranja i objave radova (npr. eLife, Review Commons, F1000Research, Peer community In, PubPeer itd.). Primjer procesa za Review commons prikazan je na slici 3.
Sličan proces ima i F1000Research kao i časopis eLife. eLife je nedavno objavio članak o promjeni svog načina recenziranja radova. Iako su već i prije objavljivali recenzije, odlučili su u potpunosti maknuti binarno prihvaćanje ili odbijanje rada. Recenzije su javno objavljene, autori mogu, ali ne moraju odgovoriti na komentare kao ni revidirati rad, koji može ponovno proći korak recenzija. Osim recenzija, eLife objavljuje javno svoju analizu pojedinog rada, prema nekoliko kriterija vezanih za kvalitetu radova poput — javno dostupnih podataka, kodova, jasno prezentiranih metoda, etičkih odobrenja, kvalitete teksta itd. Svaki rad dobiva, naravno, i DOI kroz koji se mogu pratiti verzije rada. Na kraju, oni ne preuzimaju nikakvo vlasništvo i kontrolu nad radom te ga autori mogu objaviti i negdje drugdje ukoliko to žele.
F1000Research je proširio interes i na objavljivanje postera i prezentacija koje također imaju vrijednost i nekada ih je teško citirati bez odgovarajućeg DOI-a. Na platformi nude opcije za to vidljive na slici 4.
Promjene se događaju i u smjeru sve veće potrebe i zahtjeva za javno objavljivanje kodova i podataka pa time i baze podataka poput Zenoda dobivaju na sve većoj popularnosti.
Konferencije su također počele uvoditi promjene. Sve više konferencija danas uvodi tzv. ‘open reviews’ preko platforme https://openreview.net/ što znači da recenzije postaju javne za prihvaćene radove. Mnoge konferencije uvode posebne pozive za javne podatke ili ‘benchmarke’ poput poznatog NeurIPS-a za područje strojnog učenja. Ideja da znanstvenici trebaju promisliti o potencijalnim pozitivnim i negativnim posljedicama svojih radova, također postaje sve zastupljenija te mnoge konferencije traže da dio članka bude posvećen upravo potencijalnim primjenama istraživanja.
Mnoge druge nove ideje za upotrebu tehnologije u svrhu lakšeg vrednovanja radova i istraživanja kontinuirano se javljaju i trebamo im dati priliku 😊
Ovo je ogromna tema za raspravu, za nove ideje, za analizu promjena.
Ukoliko se netko bavi time ili ga zanima detaljnije proučavati i pisati na tu temu, pozivamo vas da nam se javite.
Una Pale
— -
Izvori:
- Kim et al — 2019 — Scientific journals still matter in the era of academic search engines and preprint archives
- Ferrer-Sapena et al — 2018 — Citations to arXiv Preprints by Indexed Journals and Their Impact on Research Evaluation
- Eisen et al — 2022 — Peer review without gatekeeping
- Stern et al — 2019 — A proposal for the future of scientific publishing in the life sciences
