Få de daglige nyheder fra Version2 og Ingeniøren. Læs mere om nyhedsbrevene her.

close
Ved at tilmelde dig accepterer du vores Brugerbetingelser, og du accepterer, at Teknologiens Mediehus og IDA-gruppen lejlighedsvis kan kontakte dig om arrangementer, analyser, nyheder, job og tilbud m.m. via telefon og e-mail. I nyhedsbreve, e-mails fra Teknologiens Mediehus kan der forefindes markedsføring fra samarbejdspartnere.
forskningsingeniøren bloghoved

Pseudo-kvantitative resultater

Med jævne mellemrum ser jeg, f.eks. på Facebook, at folk annoncerer spørgeskemaundersøgelser, som de eller folk, de kender, anvender i forbindelse med større projekter i deres studium. Man opfordres til at bruge et par minutter på at besvare skemaet, idet det vil bidrage til resultaterne i projektet. Formålet er således at få nogle tal - eller kvantitative resultater - som kan understøtte og underbygge de konklusioner, man når frem til i sin opgave. Og det er fra mit perspektiv udmærket at have som ambition; Tal taler et utvetydigt sprog, og konklusionerne kan derfor ligge lige for med disse som ballast. Men tal taler kun et tydeligt sprog, hvis de er opnået på korrekt vis, og hvis de ikke er dét, er de i bedste fald ubrugelige og i værste fald helt misvisende i forhold til de resultater, man påstår at have opnået.

Jeg er ingen statistikekspert, men jeg har igennem et grundlæggende kursus fået en generel introduktion til statistiske tests, konfidensintervaller og signifikansniveauer. Jeg var, da jeg lærte om emnet, en smule overrasket over, hvor få data man behøver for at kunne udtale sig skråsikkert om det, testen omhandler. Udgangspunktet for konklusionerne er dog, at de indsamlede data er repræsentative i forhold til den befolkningsgruppe eller population, man udtaler sig om. Når professionelle meningsmålingsinstitutter, f.eks. på en valgaften, med stor sikkerhed kan udtale sig om udfaldet af valget, baseret på svar fra 1000-2000 personer, skyldes det naturligvis, at denne gruppe er repræsentativ for den samlede befolkning - andelene af ældre og unge blandt de adspurgte er de samme som i hele befolkningen, og ditto for andelene af læger og skraldemænd osv.

Men når man annoncerer en undersøgelse til sin studieopgave på Facebook eller per e-mail, er der for mig at se stor risiko for, at man ikke opnår et repræsentativt udsnit af den gruppe, hvis adfærd eller holdning man ønsker at drage nogle konklusioner om. Medmindre, selvfølgelig, at denne gruppe er "Mine Facebook-venner".

Jeg skal ikke gøre mig til dommer over, hvordan den enkelte behandler besvarelser fra sådanne undersøgelser - måske anvender folk dem kun, hvis de har belæg for, at de udgør besvarelser fra et repræsentativt udsnit - men jeg frygter, at de benyttes som et kvantitativt "resultat", uden kritisk stillingtagen til deres statistiske validitet. Dermed er udkommet af ambitionen om et kvantitativt resultat pseudo-kvantitative resultater - der, som skrevet ovenfor, i bedste fald er ubrugelige og i værste fald helt misvisende i forhold til de resultater, man påstår at have opnået.

Nuvel, det er jo bare studieopgaver, tænker nogle måske. Men det er i studietiden, at man skal tillære sig gode vaner og metoder, og hvis man f.eks. i sit speciale baserer konklusioner på fejlagtig statistisk materiale, så er der sikkert en risiko for, at man gør det samme i det job, man får kort tid efter endte studier.

Jakob Rosenkrantz de Lasson er civilingeniør og ph.d. i nanofotonik fra DTU. Jakob arbejder som Product Lead og forskningsingeniør hos virksomheden TICRA i København og blogger om forskning, fotonik og rumteknologi. Jakobs blog har tidligere heddet DTU Indefra (2012-2016) og DTU Studenten (2012)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først

Det er desværre ikke uset at lignende problemer præger undersøgelser foretaget af folk, der i princippet burde vide bedre. Significance-chasing kan være et alvorligt problem selv i videnskabelige artikler, dog typisk af mindre åbenlyse årsager.

  • 0
  • 0

Aldrig har der været målt så meget. Men er vi blevet klogere?
Målinger bliver brugt i mange organisationer, men bliver resultaterne forstået af dem der læser dem?
Jeg ser en bekymrende mangel på forståelse for data, og hvad de rent faktisk fortæller.
Dataforståelse burde være et obligatorisk fag i alle lederuddannelser, for det er på baggrund af data at beslutninger bliver taget - beslutninger der meget vel kan have vidtrækkende konsekvenser.
Det er et lidt nørdet emne, indrømmet, men det er ikke sværere end at det kan læres - og det bør kunne lade sig gøre at få det på skemaet i ledelsesundervisning. Det er for vigtigt til at blive ignoreret...

  • 0
  • 0

Det er ikke kun studerende, som skaber utroværdige konklusioner. Da jeg selv var igennem det grundlæggende kursus til statistik, fik vi en artikel fra en anerkendt matematiker, som konkluderede at omkring 70% af alle statistik-betyngede konklusioner er forfejlede i publicerede artikler.

http://www.newscientist.com/article/dn7915...

snakker om, at konklusioner i publicerede rapport er forkerte på et mere generelt niveau - og at ekspert-verdenen er udmærket klar over dette. Derfor kan man ikke sige, at "nu har man fundet ud af dét her!" og kun pege på en enkelt artikel, som medierne typisk gør. Har man fx. set med Magda Havas' udgivelser omkring elektro-overfølsomhed, og lign. crackpot udgivelser. Enhver med lidt statistisk kunnen er i stand til at pille rapporterne fra hinanden - men mange bliver stadig forblændede af artiklernes dommedagsprofetier og videnskabelige formuleringer.

Jeg tror ikke vi kan uddanne alle til at forstå statistik så de selv kan skille skidt og snavs, dét bør være mediernes opgave. Men som sagt slipper også her en del dårlige artikler igennem.

  • 0
  • 0

Jeg er helt enig i, at selv en undersøgelse baseret på tusinder af spørgeskemaer ikke nødvendigvis beviser nogetsomhelst.

Når man læser om stikprøvekontrol af en produktion, lærer man noget om hvordan man udtager stikprøver, så de virkelig afspejler den samlede mængde, og hvor mange der behøves for at få et signifikant resultat. Men når man uddeler spørgeskemaer til levende mennesker (eller spørger dem, man møder på gaden eller ringer hjem til folk), er det langt vanskeligere at sikre sig, at stikprøverne ikke er biased af den ene eller den anden grund (hvem er hjemme i arbejdstiden, hvem har forskudt arbejdstid, hvor mange misforstår nogle af spørgsmålene, hvem har ikke telefon, hvem gider ikke svare midt i middagen eller fodboldkampen, hvor mange lyver fordi de skammer sig over at sige sandheden eller fordi de er bange for at give oplysninger, som måske går videre til en indbrudstyv eller til en arbejdsgiver eller til PET etc.).

Danmarks Statistik, Socialforskningsinstituttet (der nu hedder noget andet) og en del private firmaer har udviklet metoder til at sikre sig, at de udspurgte personer udgør en signifikant mængde af helheden, og hvordan man - til en vis grad - kan undgå spørgsmål, som mange personer ikke svarer relevant på. For at undgå de mange mærkelige undersøgelser, der ikke beviser noget som helst, burde DTU og universiteterne sørge for, at alle studerende lærer noget om disse metoder, i hvert fald så meget at de søger assistance, når de ønsker at foretage en spørgeskema-undersøgelse.

  • 0
  • 0

I går aftes i Nyhederne på TV2 kl. 19 var der et indslag om, at det anbefales, at forældre læser for deres børn, mindst 20 minutter om dagen. TV2 havde i den forbindelse været i en børnehave, hvor de havde snakket med to forældre, som begge syntes om ideen, men ikke om, at det blev fremsat som et krav/noget man skal gøre. På den baggrund konkluderede TV2, at danske forældre er skeptiske over for ideen. Ingenting blev nævnt om rundspørge til en større gruppe af forældre, så jeg går ud fra, at konklusionen var baseret på svaret fra de få forældre, de snakkede med i den omtalte børnehave.

Det er svært at forstå, hvorfor de vælger at konkludere den slags på et - tilsyneladende - ikke-eksisterende grundlag.

  • 0
  • 0
Bidrag med din viden – log ind og deltag i debatten