Forskningskontrol: Over halvdelen af hundrede resultater kunne ikke reproduceres
more_vert
close

Få de daglige nyheder fra Version2 og Ingeniøren. Læs mere om nyhedsbrevene her.

close
Ved at tilmelde dig accepterer du vores Brugerbetingelser, og du accepterer, at Teknologiens Mediehus og IDA-gruppen lejlighedsvis kan kontakte dig om arrangementer, analyser, nyheder, job og tilbud m.m. via telefon og e-mail. I nyhedsbreve, e-mails fra Teknologiens Mediehus kan der forefindes markedsføring fra samarbejdspartnere.

Forskningskontrol: Over halvdelen af hundrede resultater kunne ikke reproduceres

Det har gennem flere år været en bekymring, at mange forsknings­resultater ikke lader sig reproducere.

Det gælder ikke mindst undersøgelser, som er baseret på statistiske analyser, som det bl.a. kendes fra lægevidenskaben. Nu har 270 forskere på fem kontinenter forsøgt at reproducere forskning inden for psykologi, som metodisk minder meget om lægevidenskab.

I en artikel i Science foreligger resultatet af dette Open Science Collaboration-projekt, som har omfattet gentagelse af 100 forskningsresultater fremlagt efter november 2011. Og resultatet er nedslående.Blandt de oprindelige undersøgelser havde 97 pct. statistisk signifikante resultater. Blandt gentagelserne gjaldt det kun 36 pct.

Brian Nosek fra University of Virginia i USA har stået som koordinator for projektet. Han forklarer om resultaterne:

»Der har tidligere kun været mindre systematisk evidens for reproducerbarheden af forskningsresultater. Dette projekt er det første af sin slags, og det bekræfter, at bekymringerne er reelle.«

Chokerende resultat

Bekymringerne kom bl.a. til udtryk, da den amerikanske biofarma­ceutiske virksomhed Amgen for nogle år siden ville efterprøve banebrydende forskningsresultater, der var beskrevet i 53 videnskabelige artikler. De kunne kun bekræfte resultaterne i 6 af artiklerne.

»Det var et chokerende resultat,« skrev C. Glenn Begley, tidligere forskningsleder for Amgen, i Nature i 2012.

Læs også: Biostatistiker kommer forskere til undsætning: 'Kun' hvert syvende resultat er forkert

Allerede i 2005 skrev John Ioannidis, som i dag er tilknyttet Stanford University i USA, en artikel med titlen ‘Why most published research findings are false’. Her forklarede han, at de statistiske metoder, som benyttes inden for medicinsk forskning og psykologi, fører til, at de fleste forskningsresultater er forkerte.

Selvom Brian Nosek og de øvrige forskere har haft svært ved at reproducere meget af den forskning, de har undersøgt, pointerer de i konklusionen i deres artikel, at man ikke kan tage deres gentagelser af tidligere forsøg til indtægt for, at de fundne effekter oprindeligt ikke har været til stede. Ligeledes kan man heller ikke garantere, at der hvor de har fået samme resultat som de oprindelige forskere, er der garanti for, at effekten reelt er til stede.

Men projektet har vist, at der er plads til at forbedre reproducerbarheden inden for psykologi, konkluderer forskerne i deres artikel.

Indikatorer på reproducerbarhed

Brian Nosek og co. har også søgt at finde en indikator på, hvilke forskningsresultater der som hovedregel kan reproduceres. Her er deres konklusion, at den såkaldte p-værdi (signifikansniveauet) er den bedste indikator.

Man forlanger ofte en p-værdi under 0,05, for at man kan have tiltro til en statistisk undersøgelse.

Gentagelsesforsøgene viser, at oprindelige resultater med en p-værdi tæt på 0,05 langt sjældnere end forsøg med en p-værdi tættere på nul lod sig reproducere. Desuden gælder det, at overraskende resultater var langt sværere at reproducere end mere forventelige resultater.

Det bekræfter hovedreglen inden for al forskning; at ekstraordinære postulater eller resultater kræver ekstraordinære beviser. Men det vil være forkert at lade p-værdien være altafgørende, advarede flere statistiske eksperter om i Nature i 2014.

»For sådan var p-værdien slet ikke tiltænkt, da den blev beskrevet første gang« sagde Steven Goodman fra Stanford University ved den lejlighed.

Brian Nosek opfordrer da også andre til at komme med forslag til alternative indikatorer for troværdige forskningsresultater.

sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først

Det fremgår ikke i artiklen i Science, hvad det er for undersøgelser eller typer af undersøgelser, der lader sig reproducere eller ikke reproducere inden for psykologi. Der sammenlignes ikke med andre fagområder. Det virker på mig som om jeg har fået en gang ikke-information. I artiklen (i Science) nævnes, at man har sorteret de mest resourcekrævende studier fra. Dette indebærer formentligt, at man ikke har undersøgt studier af forskellige former for psykoterapis effekt over længere tid også efter at terapien er ophørt. Dette gør de hele endnu mindre interessant.

  • 2
  • 2

Man kan ikke andet end blive alvorligt bekymret, når man ser den type overskrifter. Ikke alene udviser hele dagsordenen en afgrundsdyb uforståelighed overfor hvad der kan karakteriseres som videnskab. Den skaber også helt unødvendige holdninger og myter blandt mennesker, der stort set ingenting fatter.

Vi lever i en verden så kompleks, både i sin udfoldelse og i vores forståelse af den, at den her form for platheder aldrig burde forekomme. Der er overhovedet ingen tvivl om at en masse "resultater" indenfor psykologi, sociologi, raketvidenskab, medicin, teknologi og IT er det rene voodoo. Jeg sidder og ser på en hel horde af dem hver dag.

Men det har da ved gud intet som helst med deres reproducerbarhed at gøre!

Vor herre til hest!

Søde venner. Sæt jer ned og skriv et tåbeligt forsøg op, der med en fast procedure viser et eller andet vrøvl. Kald det så noget fancy, og fortæl verden hvor fantastisk jeres resultat er. Så længe proceduren er fast, vil jeg garantere, at jeres vrøvl vil kunne reproduceres lige så mange gange det skal til, før folk rent faktisk tror på det.

Hvis man vil forstå hvorfor de nævnte resultater ikke kan reproduceres, så lær dog noget om videnskabsfilosofi, og fat hvorfor psykologi ikke er psykologi. Der er mindst 100 forskellige slags psykologi. Og gud ske lov for det. En dag er der en af dem der virker, og vi havde aldrig fundet den, hvis ikke vi havde forsøgt hver dag, hele tiden.

Det bliver mere og mere klart at en masse mærkelige mennesker efterhånden har fået den opfattelse, at der findes een ganske entydig måde at bedrive videnskab på - og den har de i øvrigt selv fuldt patent på - og så længe vi bare holder os til den så producerer vi resultater med optimeret return of investment.

Den dag disse mennesker får magt som de har agt - og det kommer tætterre på hele tiden - så går alt i stå, og vi er lynhurtigt tilbage i jordhulerne.

Kom nu ind i kampen!

  • 2
  • 7

En p-værdi på 0,05 svarer til, at man har afprøvet en hypotese og fået en bekræftelse, der er så signifikant, at der kun er 5% sandsynlighed for, at resultatet skyldes statistiske tilfældigheder. Det er jo sådan set fint nok.

Men hvis vi nu forestiller os, at 20 forskerhold hver for sig og uvidende om hinandens eksistens har afprøvet den samme hypotese, er det ret sandsynligt at et af holdene er nået frem til en sådan bekræftelse, selv hvis hypotesen reelt ikke holder. Det skal jo netop ske 1 gang ud af 20, hvis kravet til p-værdien er 0,05.

Det er sådan set også fint nok, hvis vi bare ser resultaterne fra alle de 20 hold. Men hvis de 19 hold, som ikke nåede et signifikant resultat, bare lader resultatet gå i glemmebogen i stedet for at publicere det, får vi en skævvridning af resultaterne.

Er det det, der er sket her? (Altså i de oprindelige forsøg.)

En anden, tilsvarende fejlmulighed er udvidelse af forsøget, hvor man tester 20 mere detaljerede varianter af hypotesen og sørme finder signifikans for en af varianterne. Her har xkcd smukt illustreret, hvordan man på den måde kan bevise, at grønne jelly beans giver bumser: https://xkcd.com/882/

  • 5
  • 0

Men hvis de 19 hold, som ikke nåede et signifikant resultat, bare lader resultatet gå i glemmebogen i stedet for at publicere det, får vi en skævvridning af resultaterne.


Det er et væsentligt punkt.
Et andet kunne være at baggrundsmaterialet og metoden skal være tilgængelig, før et papir overhovedet udgives som noget væsentligt.
Jeg mindes kommentaren fra en klimaforsker, at de ikke ville vise McIntyre deres data og metoder, fordi han bare ville prøve at finde fejl!

  • 3
  • 2

Jeg husker at fysikerne på Cern først var tilfredse ved sigma=5 hvor psykologerne synes tilfredse med sigma=1. Hertil kommer de to uafhængige grupper ved Cern, der gerne skulle nå samme resultat, ellers er der ikke noget resultat. Psykologer arbejder ofte med nærmest subjektive kategorier, så sigma>2 burde være et must.

  • 0
  • 0

... Og disse resultater ændrer sig aldrig.

Period.

At arbejde med sindet, ud fra en videnskabelig vinkel, vil være sig omtrent lige så frugtbart som at forsøge at bevise Gud med matematik..

Ingen af delene kan lade sig gøre, og så længe, videnskaben, stædigt, som et lille barn, holder fast på sin "kan selv, vil selv", så når den aldrig længere end til kravlestadiet: Når dagen kommer, og de åndelige og de videnskabelige grene begynder at arbejde sammen, fordi de er ét, så er universets kant grænsen.

Men imellemtiden kan de jo sætte halvdelen af befolkningen på piller, og symptombehandle, til de vågner op..

  • 0
  • 3

Netop FORDI det er psykologi, er det overordentligt vigtigt at resultaterne er reproducérbare - da det er målinger af f.eks. gruppeforskelle og effekt-størrelser der er psykologiens eneste holdbare ankerpunkt i videnskaberne.

Dermed være ikke sagt at alt i psykologien kan eller bør kvantificeres, men NÅR det blir' sat på tal, så skal pengene altså helst passe..

Og ja, jeg er enig i at "Publication Bias" - altså underrapportering af negative resultater - nok er den væsenligste årsag til problemerne, i skøn forening med den meget lidt konservative 5%-signifikans-grænse man har blikket stift rettet mod i samfundsvidenskaberne.

Jakob E. (der har undervist psykologer i statistik, suk..)

  • 2
  • 0
Bidrag med din viden – log ind og deltag i debatten