Biostatistiker kommer forskere til undsætning: 'Kun' hvert syvende resultat er forkert
more_vert
close

Få de daglige nyheder fra Version2 og Ingeniøren. Læs mere om nyhedsbrevene her.

close
Ved at tilmelde dig accepterer du vores Brugerbetingelser, og du accepterer, at Teknologiens Mediehus og IDA-gruppen lejlighedsvis kan kontakte dig om arrangementer, analyser, nyheder, job og tilbud m.m. via telefon og e-mail. I nyhedsbreve, e-mails fra Teknologiens Mediehus kan der forefindes markedsføring fra samarbejdspartnere.

Biostatistiker kommer forskere til undsætning: 'Kun' hvert syvende resultat er forkert

En talemåde siger, at der findes løgne, forbandede løgne og statistik. En variant heraf er udtrykket løgne, forbandede løgne og medicinsk videnskab.

John Ioannidis, som i dag er tilknyttet Stanford University i USA, skrev i 2005 artiklen 'Why most published research findings are false', hvor han forklarede, at de statistiske metoder, som benyttes inden for medicinsk forskning, fører til, at de fleste forskningsresultater er forkerte.

Nu kommer biostatistikeren Jeffrey T. Leek fra Johns Hopkins University de medicinske forskere til undsætning med en analyse, der viser, at det kun er hver syvende af påstandene i de videnskabelige artikler, der er falsk.

John Ioannidis hævdede, at de fleste biomedicinske undersøgelser er tilrettelagt, så forskerne har en tendens til at teste langt flere falske hypoteser end sande hypoteser.

Hvis der undersøges 1.000 hypoteser, hvoraf 10 er sande og 990 falske, så vil de typiske statistiske metoder føre til, at 8 ud af de 10 sande hypoteser også bliver identificeret som værende sande, men 50 af de 990 falske hypoteser vil ligeledes blive klassificeret som værende sande.

Data fra 77.430 artikler

Hovedparten af de sande hypoteser bliver altså klassificeret som værende sande, og kun en meget lille af de falske hypoteser bliver klassificeret som værende sande. Det lyder umiddelbart meget godt.

Samlet er konklusionen dog, at 58 af de oprindeligt 1.000 hypoteser er sande hypoteser, hvoraf 86 pct. (50/58) er falske positive hypoteser. Det lyder langt mindre godt.

Jeffrey T. Leek har sammen med Leah Jager fra United States Naval Academy nu indsamlet data fra 77.430 artikler publiceret i de førende medicinske tidsskrifter i perioden mellem 2000 og 2010 - og ladet et computerprogram beregne antallet af falske positive resultater.

Næppe det endelige punktum

De er kommet frem til, at de falske positive hypoteser kun udgør 14 pct. Man kan vælge at betragte det som falsificering af Ioannidis' antagelse, at de fleste undersøgelser er tilrettelagt på en måde, der fører til mange falske positive. Men det er næppe det endelige punktum i sagen. Det er nemlig umuligt uden videre at beregne antallet af falske positive hypoteser blandt de 77.430 artikler,

Det kræver brug af en iterativ expectation-maximization-algoritme, der begynder med at tillægge en række ukendte parametre en tilfældig værdi og dernæst en beregning, der kan bruges til at finde et bedre estimat. Proceduren gentages, indtil man kommer frem til de mest sandsynlige værdier.

Andre forskere vil nok have en interesse i at se både proceduren og dens implementering nærmere efter.

En anden årsag til, at diskussionen sikkert vil fortsætte, er, at analysen strider mod erfaringen hos store biomedicinske firmaer.

Da forskerne ved den amerikanske biofarmaceutiske virksomhed Amgen ville efterprøve banebrydende forskningsresultater, der var beskrevet i 53 videnskabelige artikler, kunne de kun bekræfte resultaterne i 6 af artiklerne.

'Det var et chokerende resultat,' skrev C. Glenn Begley, der tidligere har været global forskningsleder for Amgen, i Nature sidste år.

Året før havde den tyske gigant Bayer HealtCare oplyst, at der deres forskere i omkring to tredjedele af tilfældene ikke kunne reproducere resultater, primært inden for kræftforskning, der var foretaget af andre.

'Vores observationer viser, at offentliggjorte data om potentielle lægemiddelkandidater skal betragtes med forsigtighed,' skrev firmaets vicedirektør Khusru Asadullah i Nature Reviews.

Der kan være flere gode grunde til, at tidligere forskningsresultater ikke holder i det lange løb - også ud over at de har været falske positive resultater. Men sjusk kan også spille ind.

For dårlig overvågning af uerfarne

Nature skrev i en lederartikel, som en opfølgning af resultaterne fra Amgen, at selv de mest berømte universiteter indrømmer, at de ledende forskere ikke altid bruger nok tid på at overvåge uerfarne, nyuddannede ph.d.er eller ph.d.-studerende, som udfører det meste af forskningen.

Det er heller ikke ualmindeligt, at resultater, som er i modstrid med en artikels hovedresultat udelades. Derved giver de enkelte forskningsartikler ikke hele det billedet, som andre forskere og offentligheden efterspørger.

Det er forhold, man kan rette op på. Men selv om der bliver gjort mere i fremtiden, vil omfanget af fakta i den biomedicinske forskning stadig være et åbnet spørgsmål.

sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Bidrag med din viden – log ind og deltag i debatten