Statistikere udsender sjælden form for advarsel
For første gang nogensinde har American Statistical Association (ASA) udsendt konkrete anbefalinger om brugen af statistiske værktøjer
I en officiel udtalelse slås det fast, at en enkelt størrelse aldrig kan erstatte videnskabelige ræsonnementer.
Den størrelse, organisationen har in mente, er den såkaldte p-værdi, som mange ikke mindst inden for medicin og psykologi benytter til at afgøre, om en hypotese er sand eller falsk – men ofte på et forkert grundlag.
Problemet er dog ikke begrænset til medicin og psykologi.
»Der er mange andre faggrupper, som fortolker p-værdierne forkert i forbindelse med statistiske analyser,« siger Claus Thorn Ekstrøm, der er professor i biostatistik ved Københavns Universitet, til Ingeniøren.
P-værdiens faldgruber
Man kan f.eks. teste et medikament ved at sammenligne to grupper, hvor kun den ene får medikamentet. Er der stor forskel f.eks. i helbredelse mellem de to befolkningsgrupper, kan det skyldes, at der tale om en tilfældighed, eller at andre forhold gør sig gældende, som f.eks. at medikamentet har haft en virkning.
Med udgangspunkt i en bestemt statistisk model kan man udregne p-værdi, der indikerer, hvor inkompatible data er med en forhåndsantagelse om, at medikamentet ingen virkning har.
Mange opfatter det således, at hvis p-værdien er mindre end 0,05, så er sandsynligheden for, at der er tale om en tilfældighed mindre end 5 pct., og man derfor kan være rimelig sikker på, at der har været en virkning.
Men statistikere har altid vidst, at sådan kan man ikke konkludere, for som der står i udtalelsen fra ASA, så er p-værdien ikke et mål for om en hypotese om er sand, eller om sandsynligheden for, at data skyldes en tilfældighed. P-værdien kan kun vise, hvor uforenelige data er med en bestemt statistisk model eller forhåndsantagelse. Den udtrykker intet om selve antagelsens rigtighed eller ej.
Derfor kan statistiske konklusioner, forretningsmæssige eller policy-beslutninger ikke baseres alene på størrelsen af p-værdien, som ikke kan erstatte almindelige sunde videnskabelige ræsonnementer, skriver ASA.
Mange har råbt vagt i gevær
For eksperter er sådan set ikke noget nyt i ASA’s udtalelse, men udtalelsen skal ses som en opfølgning på en diskussion, som gennem flere år har været ført i de videnskabelige tidsskrifter, hvor flere statistikere gentagne gange har råbt vagt i gevær med hensyn til misbrug af p-værdien.
For to år siden rejste George Cobb en diskusssion i et forum på ASA med disse spørgsmål og svar:
Q: Hvorfor underviser så mange i p=0,05?
A: Fordi det er det, som det videnskabelige samfund og redaktører af videnskabelige tidsskrifter benytter.
Q: Hvorfor bruger så mange stadig p=0,05?
A: Fordi de har lært det på universitetet.
Når p-værdien er blevet så populær, er det altså med Cobbs ord, fordi vi underviser i det, vi bruger, og vi bruger den, fordi det er det, vi har lært.
Der skal være større åbenhed
Behovet for gode videnskabelige ræsonnementer understøttes af en international undersøgelse sidste år, der viste, at forskellige statistikere kunne komme til vidt forskellige konklusioner ud fra samme datamateriale.
Førende statistikere fra danske universiteter påpegede dengang i Ingeniøren, at der brug for langt større åbenhed omkring statistiske analyser.
xkcd har tidligere berørt emnet satirisk
https://xkcd.com/882/
A: Fordi reviewerne lader det passere.
Har absolut ikke forbedret kvaliteten. Det er blot opsummering af artikler og undersøgelser om emnet, og consensus bias er svær at undgå i den type undersøgelser.
Hvordan sikrer du, at netop den artikel der undsiger og måske modbeviser den generelle tro kommer med, og vægtes relativt til det overvældende flertal.
Den lette informationssøgning med internettet er et tveægget sværd. Det ses særligt indenfor felter, hvor en facitliste ikke findes, og rigtige beviser/forsøg er svære eller umulige at opdrive/udføre.
Det andet problem er måske, at statiske analyseværktøjer også er blevet lettilgængelige uden en tilsvarende skoling i deres brug, og specielt hvor man ikke skal bruge dem.
Man burde måske også indføre en p-værdi for værktøjerne de bruger.
I medicinske undersøgelser vil den testede medicin ofte vise en signifikant effekt ift. en gruppe der ikke får nogen medicin, men så snart der testes imod en gruppe der får en uvirksom medicin bliver effekten af den nye medicin af og til noget uklar. Forklaringen er den såkaldte placebo effekt, hvor medicinsk uvirksomme piller tilsyneladende hjælper en række patienter.
Det ville være yderst relevant at forske nærmere i placeboeffekter, og f.eks. afdække
- om patienter kan få allergi af placebo-medicin!?
- om patienter på placebo-medicin, som ikke får det bedre responderer bedre på den ægte medicin end den samlede blandede patientgruppe,
- om patienter der reagerer positivt på placebo medicin også reagerer positivt eller mere positivt på den ægte medicin
- osv.
Godt nok er der ikke så mange penge i at sælge placeboeffekt, omvendt kunne det jo være smart at forstå, hvad der kan gøre os mere raske eller holder os mere raske.
Mht. Signifikans og p-værdien, er der måske også en tendens til at publicere flere test der viser signifikant effekt, frem for test der forkaster teorien/sammenhængen/effekten. Alene det gør jo metaanalyser problematiske, selv om de faktisk principielt kan være nyttige.
Prøv at læse den her:
http://www.ncbi.nlm.nih.gov/pubmed/9449934
Et par flere links:
https://www.sciencebasedmedicine.org/place...
http://www.dcscience.net/2015/12/11/placeb...
Hvad tror du egentlig at alternative behandlere lever af?
@ Ole: Citatet i dIn reference pointerer jo netop at der citeres fra gammel litteratur.
@ Per: Din pointe understreger jo netop behovet for systematisk dokumentation
Samlet set er svaret mere forskning i placebo-effekter eller hvordan vi kan manipulere/tænke os selv til at blive mindre syge.
Ja, det er en ret voldsom psykologisk effekt: Hvis man har det rigtig dårligt, og en eller anden behandling tilsyneladende virker, så får man en fuldstændig stålfast tro på pågældende behandling!
Uanset hvad man får at vide bagefter.
Det samme system gør sig gældende i religion: Folk vil tro på deres guddom, uanset hvor mange selvmodsigelser man kan vise dem i den dokumentation de desperat holder fast i.
Jeg husker at min far mente, at hans hovedpine gik over, i samme sekund hans slugte en kodimagnyl. Han var en uddannet mand, og forstod udmærket godt placeboeffekten.
Men når jeg foreholdt ham at en kodimagnyl umuligt kunne optages i organismen på så kort tid, og det han oplevede var en placeboeffekt, så fik jeg at vide at det bestemt ikke kunne passe: Hovedpinen gik jo rigtig væk, det var ikke bare noget han troede!
Tag dén!
Men jeg forstår sådan set udmærket at folk som er helt ude i tovene, bliver ved med at holde fast i 'redningsplanken'. Alternativet kan være rædselsvækkende!
Nej nej, det er denne her artikel der skal læses (ok, ca. lige så seriøst site som XKCD, men...).
http://www.improbable.com/airchives/papera...
Beklager min kortfattede kommentar, men du virkede stærkt interesseret i placebo-virkninger, og hvis du læser lidt i de næste links, så vil du finde nogle senere resultater som nok vil interessere dig. Et citat mere:
https://www.sciencebasedmedicine.org/place...
Den fortsætter så med at sige at der faktisk er målt nogle effekter i oplevede symptomer, f.eks. hvor ondt det gør, ligesom eksemplet med hovedpine. Men at der er så stor varians at en del af det nok skyldes problemer med design af eksperimenterne.
For nysgerrighedens skyld - hvad giver man til test-grupperne i en placebo undersøgelse, - særligt til dem som ikke får placebo?
...er:
Jordan Ellenberg:
How Not to Be Wrong: The Power of Mathematical Thinking
Bogen beskriver på fremragende vis alle de måder man - i god tro - kan mishandle data på og få helt gale resultater ud af det. Herunder også et kapitel om p-værdien.
Burde være pligtlæsning for alle der profesionelt behandler (statistiske) data, og hvor dataanalysen har konsekvenser for andres ve og vel.
Ingenting.
Når det går rigtig godt med bevillinger, har man fire grupper:
1. får den medicin, der skal afprøves
2. får den medicin, der tidligere (dvs. indtil nu) har givet bedst resultat
3. får placebo, dvs. noget der i det ydre ikke kan skelnes fra 1.
4. får ingenting
Ofte har man kun 1., 3., og 4., og oftere kun 1., 3., i begge tilfælde så man ikke med sikkerhed ved, om det ny er bedre end det hidtil anvendte.
- men man oplyser dem da forhåbentligt på forhånd om, at de deltager i et sådant forsøg, og altså risikerer: '4. får ingenting'!??
Selvfølgelig. De bliver grundigt orienteret og underskriver en samtykkeerklæring, som klart redegør for konsekvenserne og desuden angiver, at man når som helst kan fortryde. I modsat fald kommer man i alvorlig karambolage med Det Etiske Råd o.m.a.
Nu skal man jo huske på, at flertallet af sygdomme ikke truer hverken liv eller helbred, men kun medfører større eller mindre gener. Jeg har selv tidligere deltaget i gruppe 4, og deltager netop nu i grp. 4 i et forsøg, hvor jeg ikke får den medicin, der kunne mindske nogle ubehagelige, men ufarlige gener.
- OK; så er jeg meget mere rolig! Min kone har deltaget i et tilsvarende forsøg (hormonbehandling efter operation for brystkræft)...naturligvis dog uden '3. får placebo...' og '4. får ingenting'.
Uden at kende til dette specifikke forsøg, vil jeg mene, at din kone har været enten i gruppe 2. den bedste af de ibrugværende behandlinger, eller i gruppe 1. ny medicin som ser ud til at være bedre end medicinen til gruppe 2.
Man løber ingen risici med brystkræft, selvom 5-års overlevelsen er nået op på ca. 80%.