Winston Churchill er – måske med urette – tillagt talemåden: ‘Jeg tror kun på den statistik, jeg selv har forfalsket’.
En undersøgelse af, om fodbolddommerne er mere tilbøjelige til at give sorte end hvide fodboldspillere et rødt kort, giver nu et mere nuanceret indblik i problemstillingen.
Undersøgelsen viser, at forskellige statistiske analyser med det samme datagrundlag kan give vidt forskellige svar på samme spørgsmål. En konklusion, der nok vil overraske mange – men ikke eksperter på området. Professor i statistiske metoder og analyser Per Brockhoff fra DTU siger:
»Hvis man gik rundt med den illusion, at man kunne være 100 pct. sikker på, at en analyse foretaget af en enkelt statistiker altid viser den eneste mulige og ultimative sandhed, så er det nok på tide, at den illusion brister.«
Men først til den konkrete og ‘afslørende’ analyse: I sæsonen 2012-2013 var der 2.053 spillere i de bedste ligaer i England, Tyskland, Frankrig og Spanien.
For alle spillere blev indsamlet data om, hvor mange røde kort hver spiller modtog, og hvilke dommere der havde uddelt dem – suppleret med oplysninger om spillerens plads på holdet, højde og vægt samt en vurdering af spillerens hudfarve.
Dette omfattende materiale blev stillet til rådighed for 29 forskningsgrupper. 20 af disse svarede efterfølgende ja til, at sorte spillere fik flest røde kort – ca. 1,3 gange så mange, som hvide spillere fik.
De øvrige grupper fandt ikke, at der var statistisk belæg for denne påstand. To undersøgelser tyder endog på, at sorte spiller får færre røde kort, end hvide spillere gør – selv om forskellen er så lille, at disse undersøgelser ikke kan tages til støtte for hverken det ene eller andet synspunkt om, hvilke spillere der får flest røde kort.
Eksperimentet blev ledet af Ralph Silberzahn fra IESE Business School i Barcelona i Spanien og Eric L. Uhlmann fra Insead i Singapore.
De skriver i Nature, at var kun en enkelt af disse analyser offentliggjort, kunne konklusionen have været alt fra, at der ikke er noget, der tyder på racistiske fordomme hos fodbolddommere, til at hvide og sorte fodboldspillere dømmes meget forskelligt.
»De fleste forskere vil finde en sådan forskel alarmerende. Det kan være en fejl at tage en enkelt analyse alt for seriøst, selvom vores nuværende system inden for videnskabelige tidsskrifter og medieomtale opfordrer hertil,« skriver de to forskere.
Det er måske ikke et direkte rødt kort til de statistiske undersøgelser, men i hvert fald et gult.
Da de samme metoder også anvendes inden for medicinsk forskning og psykologi, er Silberzahn og Uhlmanns undersøgelse ikke kun en kuriositet for fodboldinteresserede, selv om den kan være nok så interessant.
Det er således erkendt og dokumenteret, at det kan være svært at reproducere mange forskningsresultater.
270 forskere har for nylig forsøgt at reproducere forskning inden for psykologi. Blandt de oprindelige undersøgelser havde 97 pct. statistisk signifikante resultater. Blandt gentagelserne gjaldt det kun 36 pct.
En anden undersøgelse har vist, at selv topforskere fra førende britiske universiteter forsynder sig mod elementære regler for gode statistiske undersøgelser. Og en helt grundlæggende kritik blev fremført for ti år siden af John Ioannidis fra Stanford University i USA i artiklen ‘Why most published research findings are false’.
Til en vis grad har man kunnet forklare den manglende reproducerbarhed med, at det er svært at lave en fuldstændig nøjagtig gentagelse af ældre forsøg.
Derfor tog Silberzahn og Uhlmann initiativ til den aktuelle undersøgelse, hvor alle grupper skulle analysere samme råmateriale.
Erik Parner, der er professor i biostatistik ved Aarhus Universitet, undrer sig over de metodevalg, nogle af grupperne har foretaget. Men ikke alle forskelle blandt de 29 forskningsgrupper kan forklares med, at nogle har lavet fejl eller regnet forkert. Så simpel er virkeligheden ikke.
Claus Ekstrøm, der er professor i biostatistik ved Københavns Universitet, forklarer, at man er nødt til beskrive åbne, brede spørgsmål mere detaljeret, før man kan åbne den matematiske værktøjskasse.
Det er nødvendigt at bruge en model, som kan bygge på antagelsen om, at data er normalfordelt eller følger andre fordelinger som en Poisson-fordeling eller en logistisk fordeling – en fordeling, der minder om normalfordelingen, men med tungere haler, der giver større sandsynlighed for afvigende resultater.
I den aktuelle undersøgelse er det næppe fordelingsantagelserne, der giver de største forskelle, mener Per Brockhoff. I stedet peger han på forskellige valg af variationsstrukturer og kovariater.
Hvis forsvarsspillere formodes at få flere røde kort end angrebsspillere, og der er en overvægt af sorte spillere i forsvaret, så kan flere røde kort til sorte spillere forklares med, at de er forsvarsspillere.
Spørgsmålet er, hvor mange af sådanne kovariater, man skal medtage i modellen? Her er der ikke noget entydigt ‘rigtigt’ eller ‘forkert’.
»Der er ikke to af de 29 grupper, der har valgt præcis samme kombination af kovariater, derfor kan man heller ikke forvente at få samme resultat. Inden for mere afgrænsede fagområder må der dog forventes at være større konsensus omkring valg af kovariater,« siger Per Brockhoff.
Når man bliver præsenteret for flere svar på samme spørgsmål, er det en god tommelfingerregel at se bort fra helt afvigende svar, som kan være fejlbehæftede, og i stedet udnytte begrebet ‘wisdom of the crowd’.
Hvad angår det oprindelige spørgsmål, konkluderer Silberzahn og Uhlmann derfor, at der er en lille statistisk signifikant relation mellem spilleres hudfarve og antallet af røde kort – og at årsagen hertil er ukendt.
Det vil nok være meget forlangt, at alle statistiske undersøgelser i fremtiden skal gennemføres uafhængigt af hinanden af 29 grupper.
I praksis kan man nøjes med langt færre, mener Silberzahn og Uhlmann – måske kun 3-4 stykker – men de pointerer, at der er store fordele ved brug af crowdsourcing inden for videnskab:
»Hvis der er konsensus, kan forskerne tale med én stemme. Hvis forskellige resultater fremkommer med anvendelse af forskellige metoder, der alle kan forsvares, så viser det subjektiviteten inden for forskning, som skal accepteres som en realitet ved erhvervelse af viden.«
Per Brockhoff er enig i, at omfattende crowdsourcing-analyser ikke altid er påkrævet.
»Men det vil være værdifuldt i mange sammenhænge at få en second opinion,« siger han.
Det kan der være flere gode grunde til.
Læge Kreesten Meldgaard Madsen har gennemført omfattende statistiske analyser af bl.a. eventuelle bivirkninger ved vaccinationer. Han er bekymret for, at forskere i visse tilfælde vælger statistiske metoder, som giver størst mulighed for at opnå en ønsket konklusion.
»Det giver rigtig god mening at se på data med andre øjne, og jeg ser gerne, at andre forskere vil lave deres egne undersøgelser på de data, som jeg har anvendt,« siger han.
