Det kniber med kvaliteten af forskningens kvalitetstjek
more_vert
close
close

Få de daglige nyheder fra Version2 og Ingeniøren. Læs mere om nyhedsbrevene her.

close
Ved at tilmelde dig accepterer du vores Brugerbetingelser, og at Mediehuset Ingeniøren og IDA-gruppen lejlighedsvis kan kontakte dig om arrangementer, analyser, nyheder, tilbud mm via telefon, SMS og email. I nyhedsbreve og mails fra Mediehuset Ingeniøren kan findes markedsføring fra samarbejdspartnere.

Det kniber med kvaliteten af forskningens kvalitetstjek

Den vigtigste kilde til spredning af resultater i forskningsverdenen er videnskabelige artikler. Og den vigtigste metode til sikring af, at kvaliteten er i orden, er peer reviews – at en forskningsartikel forhånds­bedømmes af ligemænd eller ‘peers’, inden den accepteres af et tidsskrift til offentliggørelse.

Peer review, eller fagfællebedømmelse, er forskernes måde at holde selvjustits på.

Systemet er en af grundpillerne i forskningssystemet, og når det fungerer som tiltænkt, er det med til at forbedre kvaliteten af den videnskabelige produktion. Alt for ofte giver peer reviews dog en falsk følelse af sikkerhed og slipper alt for mange artikler med fejl igennem.

Det er umuligt at finde forskere, der hævder, at systemet fungerer perfekt. Et mindretal mener ligefrem, at systemet er brudt helt sammen.

Artiklen fortsætter under grafikken

Illustration: MI Grafik / Lasse Gorm Jensen

Hvilke konsekvenser, det skal have, er der ikke enighed om, men der er to hovedanskuelser omkring peer review-systemets fremtid:

Den ene medgiver, at systemet ikke er perfekt, men betragter det alligevel som det bedste, der findes. Alt andet vil åbne for totalt kaos og anarki.

Ifølge den anden kan og skal systemet ændres til noget bedre. Og her kan man vælge to veje frem – enten at eksperimentere, modificere og lappe på det bestående system eller at foretage en radikal ændring.

Når peer reviews er kommet under stigende pres, skyldes det en lang række forhold.

Det er blevet vanskeligere at finde gode reviewere til at udføre det ulønnede arbejde, som kommercielle og meget profitable tidsskrifter ofte høster gevinsten af.

Der er et stigende pres på forskere om at skrive artikler, idet de i deres videnskabelige karriere stort set udelukkende måles og vejes på deres publikationer.

Øget konkurrence til de seriøse tidsskrifter er opstået fra såkaldte ‘rovdyrstidskrifter’, som ukritisk bringer alt mod betaling og så at sige lader forskere købe sig til en længere publikationsliste.

Den teknologiske udvikling har udløst ændringer i publicerings­metoder. Forskere kan nu frit lægge artikler frem på såkaldte preprint-servere og dermed helt undgå de dyre tidsskrifter, som universitetsbiblioteker i flere og flere lande ikke har råd eller lyst til at abonnere på. Denne metode giver mulighed for hurtigere og lettere spredning af forskningsresultater.

Ingen anerkendelse

»Et af problemerne med dårlige peer reviews er, at der ikke findes en formel uddannelse,« siger David Moher fra University of Ottawa, der systematisk har analyseret peer review-processen gennem flere år.

Han finder det tankevækkende, at stort set alt i tilværelsen, hvor man påtager sig et ansvar for andre, kræver tilladelse eller autorisation, men at det ikke er tilfældet for peer review – og forældreskab, tilføjer andre.

»Det burde i det mindste indgå i ph.d.-uddannelsen at lære at udføre et peer review,« mener David Moher.

Endnu et stort problem er i øvrigt, at det ikke er forbundet med hverken belønning eller anerkendelse at være reviewer:

»Det skal ændres,« mener David Moher, og den italienske partikel­fysiker Tommaso Dorigo er enig.

Han forklarer, at peer review-­systemet lider under, at det er svært for redaktører at finde gode reviewere – han er selv redaktør af Reviews in Physics – og at reviewere ikke modtager nogen form for anerkendelse for deres arbejde.

»Man kunne begynde med at offentliggøre reviewernes navne, hvis de selv er indforstået hermed, og lade antallet af reviews tælle med i den akademiske produktivitet,« lyder det fra Tommaso Dorigo.

Projektchef René Fléron på DTU Space bakker op:

»Det er i dag ikke en god idé at bruge alt for lang tid på et review, det kommer man ikke selv længere af.«

Mere systematiske overvejelser om peer review-systemets fremtid var en del af konferencen SpotOn i London i 2016, hvor man drøftede, hvordan peer review kunne se ud i 2030.

Rapporten fra konferencen er meget bred i sine anbefalinger og betragtninger, men uddannelse af peer reviewere og anerkendelse er også her medtaget som nøgleelementer. Desuden anbefales det at prøve med andre former for peer reviews, der kan øge gennemsigtigheden.

Et tidsskrift som Nature Communications gør allerede brug af dette, idet reviewere her har mulighed for at give tilladelse til, at deres bedømmelsesrapporter lægges frem online.

Traditionelt er reviewer anonym over for forfatter og læserne. Der er dog efterhånden en del eksempler på, at reviewer er kendt af forfatteren og læserne. Omvendt er andre tidsskrifter gået den anden vej og anonymiserer også forfatterne over for reviewerne i et forsøg på at undgå forudindtagethed.

Der er opbrud flere steder, og det tydeliggør, at der ikke findes nogen standardform for peer review. Det respekterer dels, at der er forskellige traditioner og behov inden for forskellige discipliner, men gør det også vanskeligt for andre at bedømme kvaliteten af et peer review. Og hvad er kvalitetstjekket værd, hvis kvaliteten af det ikke kendes?

Farvel til formelle reviews

Mere radikale synspunkter finder man hos den anerkendte britiske matematiker Timothy Gowers.

I en nylig kommentar i The Times Literary Supplement hiver han Andrew Wakefields studie af en sammenhæng mellem MFR-vaccine og autisme frem som et skrækeksempel på peer review-processens fallit.

Artiklen blev offentliggjort i 1998 i lægeverdenens mest prestigefyldte tidsskrift, The Lancet. Påstandene blev hurtigt tilbagevist af andre, men selv om 10 af artiklens 12 forfattere i 2004 tog afstand fra konklusionerne, var det først i 2010, at artiklen formelt blev trukket tilbage. Så meget for peer review-processens sagnomspundne kvalitetsstempel.

Herover sætter Timothy Gowers det største matematiske gennembrud inden for matematik siden 2000: Grigorij Perelmans bevis for den såkaldte Poincaréformodning.

Perelman indsendte aldrig en artikel om beviset til et videnskabeligt tidsskrift, men uploadede i stedet en serie på tre artikler til preprintserveren arxiv.org i 2002 og 2003, hvorefter en lang række forskere kastede sig over dem.

Da tilpas mange af de førende matematikere var overbevist om rigtigheden af artiklerne, blev den excentriske Perelman både tilbudt matematikkens fineste hæder, Fields-medaljen, og en million dollars i findeløn for sit bevis af Poicaréformodningen af Clay Mathematics Institute. Han afslog i øvrigt begge.

Pointen er, at selv om Perelmans artikler ikke blev udsat for en formel peer review-proces, så blev de så sandelig peer reviewet – men uformelt.

Og denne proces er langt mere effektiv end noget andet inden for matematik og eksempelvis teoretisk fysik, mener Timothy Gowers.

Gowers er en generel fortaler for open access- og online-publikationer og modstander af hele tankegangen om, at offentligt finansieret forskning, peer reviewet ulønnet af offentlige forskere, bliver holdt tilbage bag dyre betalingsmure, så kun få kan læse dem.

For år tilbage var han bannerfører i en boykot af de kostbare tidsskrifter fra forlaget Elsevier, som var med til at ruinere mange universitetsbiblioteker.

Han pointerer, at det langtfra er indlysende, at alt andet end det formelle peer review-system ville være ringere, selv om systemet ikke er perfekt – således som forsvarere af systemet hævder.

Et alternativt system vil med garanti heller ikke være perfekt, men at insistere på perfektion – givet fejlene i det nuværende system – vil i Timothy Gowers øjne kun medvirke til at opretholde status quo.

Groft sagt kan Timothy Gowers kun se én rigtig fordel ved det nuværende formelle peer review-system: Det sikrer alle forskere, der indsender en videnskabelig artikel til et seriøst tidsskrift, en eller anden form for feedback og mindst én læser.

Det er værd at huske på, for hovedparten af den videnskabelige litteratur sætter sig absolut ingen spor, uanset om den er sand eller falsk.

Da Nature i 2014 undersøgte alle videnskabelige artikler, der nogensinde er publiceret, var resultatet, at næsten halvdelen – mere præcist 44 procent – aldrig var blevet citeret i andre forskningsartikler. De var dermed groft sagt helt uden betydning for den videnskabelige proces. Men et peer review havde de bestået.

De fleste bliver uddannet i lineære kalkulation algoritmer, så autistiske savante kan klare sig glimrende, så det kun er indlæring og god hukommelse der kræves for en uddannelse, og NUL rationale, ergo vi skal til at undervise folk i rationale, især programmører der laver "Storm P Løsninger".

  • 0
  • 1

Forskning handler om at gøre opdagelser og dele disse med andre, for udbrede ideen, at få rettelser på fejl, at få feedback, men mindst ligeså meget feed-forward i form af nye ideer og samarbejder derom. Når vi kigger på peer-reviewed systemet er det derfor væsentligt at vurdere hvorvidt det understøtter disse grundliggende processer.

For at en sådan process skal fungere skal processen være åben, hurtig, iterativ og dokumenteret. Det sidste punkt lever det klassiske peer-review op til, det tredje er yderst tvivlsomt og de to første punkter løfter processen overhovedet ikke.

En af måderne hvorpå der arbejdes i software udvikling når større grupper søger at løse en fælles gåde er i decentrale ledgers hvor versioner og bidrag dokumenteres. Der findes mange systemer til dette, men mest kendt er Git.

Den enkelte udvikler kan arbejde på et bidrag og dele sit bidrag i form at et commit til resten af gruppen. Denne process kan foregå internt i en forskningsgruppe eller en R&D afdeling hvis man håber at opnå patent eller helt åbent om man vil. Andre kan derefter gå ind og læse, kommentere og rette i dokumentet, og dele denne udgave som et commit. Historien gemmes i en en træstruktur der udvikler sig, og såfremt at den oprindelige forfatter mener at det originale var bedst, skabes der en ny gren på træet. Nogengange konvergerer disse igen som tegn på at uoverensstemmelsen ikke længere eksisterer og andre vil divergerende og der opstår forskellige filosofiske retninger. På denne måde kan videskabelsen blive dynamisk, transparent og kreditering for bidrag automatisk.

I udviklingen af Linux var/er der tusindvis af mennesker der arbejder på det samme, så håndtering af skala er efterprøvet, kvalitetskontrollen er ligeledes i top, feks. indikeret ved antallet af severe der benytter Linux.

Det vil selvfølgelig kræve at de enkelte forskere skal lære at benytte en flad text-editor, såsom LaTeX, og en GUI til håndtering a Git. Men det er en efteruddannelse der kan klares på et par dage. Men det vil også muliggøre at vi kan benytte andre formater, end det stedse mere rigide format som tidsskrifterne benytter sig af. Mange komplekse emner egner sig ikke til at blive beskrevet på 6000 ord.

Ligeledes vil det kræve at forskerne tør at gå i denne retning og at universiteterne blot ansætter på H-indexes længere...

  • 1
  • 0

Det vil selvfølgelig kræve at de enkelte forskere skal lære at benytte en flad text-editor, såsom LaTeX, og en GUI til håndtering a Git

Jeg tror man skal leve i et beskyttet nørdtårn for at tro at dette vil ske i verden med biologer, humanister og økonomer.

Peer review er ikke særligt godt, men det kniber med at finde noget bedre som kan fungere. Nu ser vi kun skandalerne, men glemmer de millioner af artikler hvor det rent faktisk fungerede. Men i takt med at suspekte open access tidsskrifter eksploderer og dermed antallet af ringe artikler er det nødvendigt at kikke på om man kan gøre det bedre. Når halvdelen af artikler ikke citeres er en god måde at kikke i Google scholar hvor mange citationer artiklen har fået. Bibliometri er heller ikke den gyldne gral,men er et godt supplement

  • 1
  • 3