Tusindvis af hjernestudier er fyldt med fejl
more_vert
close

Få de daglige nyheder fra Version2 og Ingeniøren. Læs mere om nyhedsbrevene her.

close
Ved at tilmelde dig accepterer du vores Brugerbetingelser, og du accepterer, at Teknologiens Mediehus og IDA-gruppen lejlighedsvis kan kontakte dig om arrangementer, analyser, nyheder, job og tilbud m.m. via telefon og e-mail. I nyhedsbreve, e-mails fra Teknologiens Mediehus kan der forefindes markedsføring fra samarbejdspartnere.

Tusindvis af hjernestudier er fyldt med fejl

De seneste 15 års forskning med brug af fMRI-hjernescanninger viser sig at være ramt af fejl. Svenske og britiske forskere vurderer, at omkring 3000 videnskabelige studier kan være forkerte.

»På trods af fMRI's popularitet som værktøj til at studere hjernens funktioner har man stort set ikke forsøgt at validere den statistiske metode ved brug af virkelige data,« siger den ledende forsker, Anders Eklund fra Linköping Universitet, i en videnskabelig artikel i tidsskriftet PNAS.

fMRI er en forkortelse for funktionel magnetisk resonans-billeddannelse og giver forskerne et billede af, hvor der er aktivitet i hjernen. Vi kender alle billederne af farverige cirkler og prikker i en grafisk fremstilling af en gennemskåret hjerne set ovenfra. Det er disse grafiske fremstillinger, der er værktøjet bag et utal af forskningsgennembrud, hvor forskerne har vist alt fra, hvordan hjernenes afkroge begynder at samarbejde, når man tager svampe, til hvor i hjernen sportsfolk lærer at ramme en bold.

Læs også: Her er området i hjernen der hjælper sportsfolk til at ramme bolden

Et af problemerne er, at softwaren bag fMRI giver falskt positive resultater op til 70 procent af tilfældene. Det viser forskeres gennemgang af data fra 499 kontrolpersoner, der har fået foretaget hjernescanning.

Software gav fejl på fejl

I forsøget sad alle 499 kontrolpersoner helt stille og tænkte på ingenting. De var netop kontrolpersoner. Men i den nye analyse delte forskerne gruppen af kontrolpersoner op i fiktive grupper af kontrolpersoner og testpersoner. Forskerne fordelte personerne på kryds og tværs og analyserede indtil de havde 3 millioner analyser.

Eftersom alle personer blot sad og tænkte lidt i øst og vest, så burde der ingen forskel være mellem personerne kategoriseret som kontrolpersoner og testpersoner, men alligevel gav softwaren falskt positive halvdelen af tiden og i nogle tilfælde op til 70 procent. Og det er slet ikke godt, når den videnskabelige standard for falsk positive på området er fem procent.

Ydermere opdagede forskerne en fejl i et af tre softwareprogrammer til fMRI-scanninger, som skabte falskt positive, skriver The Economist.

Forskere ignorerer usikkerheder

Undersøgelsen viser med nødvendigheden af, at statistiske studier skal korrigeres for usikkerheder. En af forskerne bag undersøgelsen, Thomas Nichols fra University of Warwick, vurderer, at de fejlramte studier mest skal findes blandt dem, hvor den statistiske sammenhæng er svag.

Men et alarmerende faktum er, at et kig på 241 tidligere studier viser, at forskerne i 40 procent af tilfældene slet ikke bad softwaren tage højde for nogen som helst former for usikkerheder.

Statistisk signifikant hjerneaktivitet i en død fisk

Det er ikke første gang, at det videnskabelige samfund er blevet advaret om fejl ved softwaren bag hjernescanninger. I 2009 viste et studie, at nogle fMRI-metoder kan detektere statistisk signifikant hjerneaktivitet i en død fisk, skriver New Scientist.

I 2012 viste Anders Eklund, at der var et alarmerende niveau af falskt positive i studier med fMRI. Men hans konklusioner blev ikke taget seriøst, fordi han kun havde data fra en enkelt hjerneskanning.

Det svenske studie vækker minder om et forsøg for et år siden, hvor 270 forskere var involveret i forsøg på at reproducere hele 100 eksperimenter fra tidligere publiserede psykologi-studier. Det mislykkedes i over halvdelen af tilfældene.

sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først

Ligesom man siger, "der er ikke noget der hedder dårlig vejr, kun noget der hedder dårlig påklædning", kunne jeg jo passende sige "der er ikke noget der hedder falsk positive, kun noget der hedder forkert brug af udstyret"

Man kan jo ikke bare forske med information om udstyrets tiltænkte virkninger og resultater, men er nødt til at kende sit udstyr og beregne ud fra hvad den rent faktisk måler.

  • 2
  • 0

Inderscience. (2014, May 20). Better than polygraphs: Brain scanning for evidence. ScienceDaily:
Citat: "...
More specifically, the kind of functional magnetic resonance imaging (fMRI) that can seemingly probe our inner selves and reveal the flow of blood in the different regions of the brain that light up when we lie.
...
In their exploratory research paper they point out that such neuroscientific evidence is not yet admissible in a court in England or Wales. It has not even been used in pre-trial evidence gathering. However, fMRI evidence is finding utility in international courtrooms in the USA, most notably.
..."

Cognitive Neuroscience Society. (2013, April 16). Memory, the adolescent brain and lying: The limits of neuroscientific evidence in the law. ScienceDaily:
Citat: "...
New companies also are claiming to use brain scans to detect lies -- although judges have not yet admitted this evidence in U.S. courts.
...
[Hvad hvis personen er blevet udsat for billeder af objekter (fx personer) inden konfrontationen fx som flash-glimt?:]
To date, Wagner and colleagues have had success in the lab using fMRI-based analyses to determine whether someone recognizes a person or perceives them as unfamiliar, but not in determining whether in fact they have actually seen them before.
..."

University of Illinois at Urbana-Champaign. (2009, June 2). Scholar Unconvinced New Lie-detection Methods Better Than Old Ones. ScienceDaily:
Citat: "...
“Far from describing the brain and its functions, fMRI and Brain Fingerprinting® produce models of the brain that reinforce social notions of deception, truth and deviance,” she concludes in the paper’s abstract.
...
“You can’t put someone in an fMRI scanner and read their mind or incriminate them, at least in part, because the person would have to lie so still,” Littlefield said.
..."

  • 1
  • 1

Forskere...

Ligesom man siger, "der er ikke noget der hedder dårlig vejr, kun noget der hedder dårlig påklædning", kunne jeg jo passende sige "der er ikke noget der hedder falsk positive, kun noget der hedder forkert brug af udstyret"

Man kan jo ikke bare forske med information om udstyrets tiltænkte virkninger og resultater, men er nødt til at kende sit udstyr og beregne ud fra hvad den rent faktisk måler.

Jeg forstår ikke dit indlæg! Når man taler om "falsk positive" (og "falsk negativ") er det jo netop en erkendelse af at udstyret/metoden har vist sig have nogle ikke helt forståede fejlkilder! Det synes jeg er udtryk for både nøjagtighed og ydmyghed fra forskerens side!

John Larsson

  • 1
  • 0

Ja, det giver jeg dig ret i. Men i sidste ende munder alle disse falsk positive jo ud i fejl 40/tanketorsk/menneskelige fejl.

Altså, man burde jo lige teste sit udstyr inden man begynder at bruge det, som målte den det man tænkte.

Jeg skriver nogle gange lidt kringlet, men sådan er jeg bare.

  • 0
  • 0

Mon denne forskning er OK?:

University of Warwick. (2016, July 18). Human intelligence measured in the brain. ScienceDaily:
Citat: "...
Using resting-state MRI analysis on thousands of people's brains around the world, the research has found that the areas of the brain which are associated with learning and development show high levels of variability, meaning that they change their neural connections with other parts of the brain more frequently, over a matter of minutes or seconds.
..."

  • 0
  • 0

Jo, det er først der man møder det. Men jeg tænker også, at hvis man har kunnet lave udstyret, ved man jo også, hvad det er udstyret gør.
Og hvis man ved hvad udstyret gør og måler, burde forskere jo tage udgangspunkt i de rå data, fremfor at tænke, at det på billedet er andet end det der rent faktisk måles (f.eks. det der er tiltænkt af producenten)

Og deraf også starte med at gennemteste teknologien i praksis inden man begynder at publicere forskning.

Man skal kende sit udstyr og være i stand til at vide, hvad man godt kan forvente i forhold til ens opgave.

  • 0
  • 0
Bidrag med din viden – log ind og deltag i debatten