Det kniber med kvaliteten af forskningens kvalitetstjek
Den vigtigste kilde til spredning af resultater i forskningsverdenen er videnskabelige artikler. Og den vigtigste metode til sikring af, at kvaliteten er i orden, er peer reviews – at en forskningsartikel forhåndsbedømmes af ligemænd eller ‘peers’, inden den accepteres af et tidsskrift til offentliggørelse.
Peer review, eller fagfællebedømmelse, er forskernes måde at holde selvjustits på.
Systemet er en af grundpillerne i forskningssystemet, og når det fungerer som tiltænkt, er det med til at forbedre kvaliteten af den videnskabelige produktion. Alt for ofte giver peer reviews dog en falsk følelse af sikkerhed og slipper alt for mange artikler med fejl igennem.
Det er umuligt at finde forskere, der hævder, at systemet fungerer perfekt. Et mindretal mener ligefrem, at systemet er brudt helt sammen.
Artiklen fortsætter under grafikken
Hvilke konsekvenser, det skal have, er der ikke enighed om, men der er to hovedanskuelser omkring peer review-systemets fremtid:
Den ene medgiver, at systemet ikke er perfekt, men betragter det alligevel som det bedste, der findes. Alt andet vil åbne for totalt kaos og anarki.
Selv om der eksperimenteres med forskellige former for åbne reviews, er reviewere i de fleste tilfælde anonyme over for såvel en artikels forfattere som offentligheden. Det var også tilfældet med en artikel fra 2013 fra fire forskere fra Ohio State University i The Journal of Strength and Conditioning Research, der analyserede skader efter brug af et styrke- og træningsprogram udviklet af selskabet CrossFit i Washington D.C. Artiklen behagede ikke CrossFit, som hævdede, at den statistiske analyse var fejlagtig, og firmaet sagsøgte udgiveren af tidsskriftet, National Strength and Conditioning Association (NCAA), som er en konkurrent på fitnessmarkedet. NCAA har omvendt sagsøgt CrossFit for æreskrænkelse. Artiklen er trukket tilbage, men i det juridiske slagsmål har CrossFit i januar i følge Science fået medhold ved retten i San Diego om at få kendskab til artiklens reviewere, som CrossFit mener, har været medvirkende til at fremhæve forskningsartiklen. Ved andre forsøg på at få kendskab til reviewere – ofte inden for medicinsk forskning – har redaktører afvist med begrundelsen, at det vil få færre til at være reviewere, og retssystemet har hidtil afvist anmodningen. Når anonymiteten er ophævet i denne sag, kan det hænge sammen med, at NCAA i sagen om æreskrænkelser er sagsøger, og at CrossFit er sagsøgte.Retten har talt
Ifølge den anden kan og skal systemet ændres til noget bedre. Og her kan man vælge to veje frem – enten at eksperimentere, modificere og lappe på det bestående system eller at foretage en radikal ændring.
Når peer reviews er kommet under stigende pres, skyldes det en lang række forhold.
Det er blevet vanskeligere at finde gode reviewere til at udføre det ulønnede arbejde, som kommercielle og meget profitable tidsskrifter ofte høster gevinsten af.
Der er et stigende pres på forskere om at skrive artikler, idet de i deres videnskabelige karriere stort set udelukkende måles og vejes på deres publikationer.
Øget konkurrence til de seriøse tidsskrifter er opstået fra såkaldte ‘rovdyrstidskrifter’, som ukritisk bringer alt mod betaling og så at sige lader forskere købe sig til en længere publikationsliste.
Den teknologiske udvikling har udløst ændringer i publiceringsmetoder. Forskere kan nu frit lægge artikler frem på såkaldte preprint-servere og dermed helt undgå de dyre tidsskrifter, som universitetsbiblioteker i flere og flere lande ikke har råd eller lyst til at abonnere på. Denne metode giver mulighed for hurtigere og lettere spredning af forskningsresultater.
Ingen anerkendelse
»Et af problemerne med dårlige peer reviews er, at der ikke findes en formel uddannelse,« siger David Moher fra University of Ottawa, der systematisk har analyseret peer review-processen gennem flere år.
Falske reviews Ukvalificerede reviewere Afvist kritikTre eksempler på huller i forskningens kvalitetskontrol
Forlaget Springer trak på vegne af tidsskriftet Tumor Biology sidste år ikke mindre end 107 videnskabelige artikler tilbage, som havde været udsat for falske peer reviews.
Artiklernes forfattere havde haft mulighed for at anbefale uafhængige eksperter, der kunne bedømme artiklerne, men opgav falske e-mail-adresser, så manuskripterne i stedet blev sendt til sammensvorne eller forfatterne selv, som derefter gav en meget positiv bedømmelse.
Springer har nu opgivet at stå som udgiver af Tumor Biology.
»Vi har alle oplevet at læse en videnskabelig artikel og undres: Hvordan slap dette nogensinde gennem peer review?« siger Leonid Schneider, tysk molekylær cellebiolog og videnskabsjournalist. Han fortæller om den amerikanske partikelfysiker Daniel Whiteson, der blev bedt om at peer reviewe artikler til tidsskriftet Diabetes Research and Clinical Practice.
Han gjorde vredt redaktøren opmærksom på, at de ikke burde sende manuskripter til ukvalificerede peer reviewere – som ham selv i dette tilfælde – hvis de ville have en høj standard.
I den efterfølgende korrespondance med
redaktøren blev Daniel Whiteson truet med sagsanlæg for sine angreb.
Projektchef René Fléron på DTU Space skrev til et videnskabeligt tidsskrift og gjorde opmærksom på en elendig artikel, de havde publiceret.
Han fik at vide, at kommentarerne ville gå videre til forfatteren, men han skulle vide, at artiklen havde gennemgået deres review-proces med succes.
Professor Ole Sigmund fra DTU Mekanik anbefalede som reviewer, at en artikel blev forkastet, da den var fejlagtig. Den blev offentliggjort alligevel.
Han finder det tankevækkende, at stort set alt i tilværelsen, hvor man påtager sig et ansvar for andre, kræver tilladelse eller autorisation, men at det ikke er tilfældet for peer review – og forældreskab, tilføjer andre.
»Det burde i det mindste indgå i ph.d.-uddannelsen at lære at udføre et peer review,« mener David Moher.
Endnu et stort problem er i øvrigt, at det ikke er forbundet med hverken belønning eller anerkendelse at være reviewer:
»Det skal ændres,« mener David Moher, og den italienske partikelfysiker Tommaso Dorigo er enig.
Han forklarer, at peer review-systemet lider under, at det er svært for redaktører at finde gode reviewere – han er selv redaktør af Reviews in Physics – og at reviewere ikke modtager nogen form for anerkendelse for deres arbejde.
»Man kunne begynde med at offentliggøre reviewernes navne, hvis de selv er indforstået hermed, og lade antallet af reviews tælle med i den akademiske produktivitet,« lyder det fra Tommaso Dorigo.
Projektchef René Fléron på DTU Space bakker op:
»Det er i dag ikke en god idé at bruge alt for lang tid på et review, det kommer man ikke selv længere af.«
Mere systematiske overvejelser om peer review-systemets fremtid var en del af konferencen SpotOn i London i 2016, hvor man drøftede, hvordan peer review kunne se ud i 2030.
Rapporten fra konferencen er meget bred i sine anbefalinger og betragtninger, men uddannelse af peer reviewere og anerkendelse er også her medtaget som nøgleelementer. Desuden anbefales det at prøve med andre former for peer reviews, der kan øge gennemsigtigheden.
Et tidsskrift som Nature Communications gør allerede brug af dette, idet reviewere her har mulighed for at give tilladelse til, at deres bedømmelsesrapporter lægges frem online.
Traditionelt er reviewer anonym over for forfatter og læserne. Der er dog efterhånden en del eksempler på, at reviewer er kendt af forfatteren og læserne. Omvendt er andre tidsskrifter gået den anden vej og anonymiserer også forfatterne over for reviewerne i et forsøg på at undgå forudindtagethed.
Der er opbrud flere steder, og det tydeliggør, at der ikke findes nogen standardform for peer review. Det respekterer dels, at der er forskellige traditioner og behov inden for forskellige discipliner, men gør det også vanskeligt for andre at bedømme kvaliteten af et peer review. Og hvad er kvalitetstjekket værd, hvis kvaliteten af det ikke kendes?
Farvel til formelle reviews
Mere radikale synspunkter finder man hos den anerkendte britiske matematiker Timothy Gowers.
I en nylig kommentar i The Times Literary Supplement hiver han Andrew Wakefields studie af en sammenhæng mellem MFR-vaccine og autisme frem som et skrækeksempel på peer review-processens fallit.
Artiklen blev offentliggjort i 1998 i lægeverdenens mest prestigefyldte tidsskrift, The Lancet. Påstandene blev hurtigt tilbagevist af andre, men selv om 10 af artiklens 12 forfattere i 2004 tog afstand fra konklusionerne, var det først i 2010, at artiklen formelt blev trukket tilbage. Så meget for peer review-processens sagnomspundne kvalitetsstempel.
Herover sætter Timothy Gowers det største matematiske gennembrud inden for matematik siden 2000: Grigorij Perelmans bevis for den såkaldte Poincaréformodning.
Omkring to millioner videnskabelige artikler publiceres hvert år. Forskere bruger samlet set skønsmæssigt mellem 13 og 20 milliarder timer årligt på at foretage ulønnede peer reviews. Her er otte forskeres bud på problemets omfang. »Peer reviews tjener som en stopklods. Det er en stor hjælp at vide, at to-tre kolleger har brugt tid på at vurdere, om noget er godt nok. Generelt synes jeg dog, at kvaliteten af de peer reviews, jeg selv modtager, er blevet meget mere svingende, også selv om vi publicerer i ‘bedre’ journals.« »Peer review er vel reelt den eneste kvalitetssikring, vi har af videnskabelige publikationer. I tider med et enormt pres på faktuel viden er det vigtigt at holde fast i, hvad der er fup og fakta. Jeg bliver ind imellem forundret over, hvad forfattere synes er o.k. og klar til review.« »Den gode reviewer er ikke en modstander, men en medspiller, som ønsker det bedste både for den konkrete artikel og for videnskaben generelt. Men nogle reviews er lavet af forskere, som kun kender området overfladisk. Problemet er desuden, at processen er utrolig langsommelig.« »Peer review er lidt som demokrati – det er ikke ideelt, men den bedste kendte styreform. Det betyder, at man kan læse en artikel med en vis grad af tillid til, at indholdet er korrekt. Der slipper dog alligevel meget skidt igennem.« »Det kan være en utrolig brugbar proces, når det er ærlighed og konstruktiv kritik. Det er vigtigt med minimum to reviewers og helst tre eller flere. Det er overraskende, hvor uenige man kan være som reviewere inden for samme lille forskningsfelt.« »Inden for visse discipliner fejler det formelle peer review-system monumentalt.« »Vi har ikke fundet den bedste måde at opnå tiltro hos læserne på, give bevillingsgivere værdi for pengene eller sikre, at offentligheden kan have tillid til videnskabelige resultater.« »Hvad peer review søger at opnå, er en stor udfordring, men ingen er kommet frem med et system, der er bedre.«Tendens eller undtagelser?
Professor Peter Bøggild,
DTU Nanotech
Projektchef René Fléron,
DTU Space
Forskningsingeniør Jakob Rosenkrantz de Lasson,
Ticra A/S
Professor Ulrik I. Uggerhøj,
Institut for Fysik og Astronomi,
Aarhus Universitet
Ph.d. Aviaja Lyberth Hauptmann,
Ilisimatusarfik (Grønlands Universitet)
Timothy Gowers,
University of Cambridge
David Moher,
University of Ottawa
Redaktør Suzanne Jarvis,
Veterinary Records
Perelman indsendte aldrig en artikel om beviset til et videnskabeligt tidsskrift, men uploadede i stedet en serie på tre artikler til preprintserveren arxiv.org i 2002 og 2003, hvorefter en lang række forskere kastede sig over dem.
Da tilpas mange af de førende matematikere var overbevist om rigtigheden af artiklerne, blev den excentriske Perelman både tilbudt matematikkens fineste hæder, Fields-medaljen, og en million dollars i findeløn for sit bevis af Poicaréformodningen af Clay Mathematics Institute. Han afslog i øvrigt begge.
Pointen er, at selv om Perelmans artikler ikke blev udsat for en formel peer review-proces, så blev de så sandelig peer reviewet – men uformelt.
Og denne proces er langt mere effektiv end noget andet inden for matematik og eksempelvis teoretisk fysik, mener Timothy Gowers.
Gowers er en generel fortaler for open access- og online-publikationer og modstander af hele tankegangen om, at offentligt finansieret forskning, peer reviewet ulønnet af offentlige forskere, bliver holdt tilbage bag dyre betalingsmure, så kun få kan læse dem.
For år tilbage var han bannerfører i en boykot af de kostbare tidsskrifter fra forlaget Elsevier, som var med til at ruinere mange universitetsbiblioteker.
Han pointerer, at det langtfra er indlysende, at alt andet end det formelle peer review-system ville være ringere, selv om systemet ikke er perfekt – således som forsvarere af systemet hævder.
Et alternativt system vil med garanti heller ikke være perfekt, men at insistere på perfektion – givet fejlene i det nuværende system – vil i Timothy Gowers øjne kun medvirke til at opretholde status quo.
Groft sagt kan Timothy Gowers kun se én rigtig fordel ved det nuværende formelle peer review-system: Det sikrer alle forskere, der indsender en videnskabelig artikel til et seriøst tidsskrift, en eller anden form for feedback og mindst én læser.
Det er værd at huske på, for hovedparten af den videnskabelige litteratur sætter sig absolut ingen spor, uanset om den er sand eller falsk.
Da Nature i 2014 undersøgte alle videnskabelige artikler, der nogensinde er publiceret, var resultatet, at næsten halvdelen – mere præcist 44 procent – aldrig var blevet citeret i andre forskningsartikler. De var dermed groft sagt helt uden betydning for den videnskabelige proces. Men et peer review havde de bestået.
