forskningsingeniøren bloghoved

Er ikke-publiceret Princeton-studie = forskning?

Et studie fra danske forskere på Princeton University i USA er netop blevet offentliggjort med en opsigtsvækkende konklusion: Det giver mindre indvandring fra ikke-vestlige lande at nedsætte de ydelser, som sådanne flygtninge og indvandrere kan modtage.

Med tanke på de sidste 20-25 års politiske debat om flygtninge og indvandrere - særligt fra ikke-vestlige lande - må sådan et resultat nødvendigvis skabe politisk og mediemæssig resonans.

Studiet er offentliggjort som et såkaldt Working Paper hos National Bureau of Economic Research (NBER).

NBER beskriver selv Working Papers som følger:

"NBER Working Papers have not undergone the review accorded official NBER publications; in particular, they have not been submitted for approval by the Board of directors. They are intended to make results of NBER research available to other economists in preliminary form to encourage discussion and suggestions for revision before publication".

Der er med andre ord tale om foreløbigt arbejde, som lægges frem til diskussion blandt fagfæller. Arbejdet er ikke (endnu) fagfællebedømt, hvilket forskningspublikationer i videnskabelige tidsskrifter bliver, før de udgives - og dermed officielt valideres som "forskning".

Ikke desto mindre er studiet allerede i flere medier og blandt flere politikere taget som en, nu, veletableret sandhed.

Blandt andre skriver Jyllands-Posten, med henvisning til studiet, at Venstre nu mener, at "[der endelig er] videnskabeligt bevis for, at det »gør skade på Danmark« at hæve ydelserne til flygtninge og indvandrere".

Jyllands-Posten henviser i øvrigt til Information som i fredags havde overskriften "Ny forskning: Lave ­ydelser til udlændinge får færre flygtninge til at søge til Danmark".

Og fredag aften havde Deadline på DR 2 historien i form af et interview med en af de danske Princeton-forskere.

Udover den politiske polemik skriver Jyllands-Posten - ikke i selve teksten, men i en separat "Bag om studiet"-boks - at "Studiet er et såkaldt working paper, dvs. at det endnu ikke er blevet fagfællebedømt".

Ligeledes nævner Deadline, at "artiklen er et arbejdspapir og venter nu på at blive vurderet og godkendt af andre forskere".

Dvs. begge medier beskriver i princippet nøgternt, hvad studiet er - og hvad det ikke er, f.eks. at det ikke er fagfællebedømt.

Men de inddrager ikke alternative eksperter eller kilder til at sætte kritisk lys på, om studiets metoder og data faktisk understøtter den bastante konklusion.

I Deadline spørger vært Jacob Rosenkrands helt rimeligt ind til, hvordan man kan være sikker på, at netop nedsættelsen af ydelser blandt mange andre faktorer er årsagen til det fald i indvandring, som er blevet observeret.

Det giver Princeton-forskeren en umiddelbart plausibel forklaring på, hvilket Deadline-værten accepterer - og hvilket jeg også umiddelbart accepterer.

Problemet er bare, at hverken Jacob Rosenkrands eller Jakob Rosenkrantz er eksperter i de forskningsmetoder, som anvendes i sådanne studier. Vi ved ikke, om metoden til at isolere effekten fra ydelsesændringen er forksningsmæssigt gyldig - hvilket eksperter i forbindelse med uafhængig fagfællebedømmelse skal vurdere.

Muligvis bliver studiet fagfællebedømt af eksperter og publiceret i et videnskabeligt tidsskrift. Muligvis bliver det revideret efter bedømmelsen og siden publiceret. Muligvis bliver det aldrig publiceret i et videnskabeligt tidsskrift, f.eks. fordi analyserne og konklusionerne ikke holder vand.

Jeg ved det ikke.

Men indtil det eventuelt er blevet fagfællebedømt og eventuelt udgivet i et videnskabeligt tidsskrift er det ikke forskning.

Emner : Forskning
Jakob Rosenkrantz de Lasson er civilingeniør og ph.d. i nanofotonik fra DTU. Jakob bloggede fra 2012-2022 om forskning, fotonik og rumteknologi.
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først

Det er vel en undersøgelse af nogle sammenhænge de har foretaget, og det er vel i bund og grund forskning. Hvor væsentligt det er, hvor "rigtigt" det er, eller om det virkelig bringer ny viden er noget andet, men forskning er det vel. Fagfællebedømt eller peer review burde vel kun være nødvendigt for dem som ikke kan gennemskue metoder og datagrundlag og kun ser på konklusionen. En god artikel burde beskrive det rimeligt og nævne eventuelle usikkerheder. Det her studie drejer sig om nogle statistiske sammenhænge, og ikke alle forskere er lige sikre i den diciplin, og endnu færre kan gennemskue fejlmulighederne. Så, jo andre øjne burde se på det, før det tages til indtægt af politikere.

  • 4
  • 0

Hej Svend,

Tak for dine kommentarer.

Fagfællebedømt eller peer review burde vel kun være nødvendigt for dem som ikke kan gennemskue metoder og datagrundlag og kun ser på konklusionen.

Ja - og det er jo lige præcis det, som medierne gør: Kun ser på konklusionen.

Jeg har ingen forventning om, at medierne skal have kompetence til at vurdere forskning og forskningsmetoder. Men jeg forventer, at de er kildekritiske, herunder at de forstår forskellen på, om et stykke arbejde har været udsat for uafhængig fagfællebedømmelse eller ej. Og som beskrevet i indlægget, er Jyllands-Posten og Deadline netop ikke tilstrækkeligt kildekritiske.

Til sammenligning spørger mediet A4 Nu en uafhængig forsker, som har læst arbejdspapiret, om gyldigheden af de påståede konklusioner. Hvad denne uafhængige forsker så mener er for nærværende diskussion ligegyldigt - essensen er, at man har fået en uafhængig vurdering af arbejdet og konklusionerne.

Pointen i det konkrete tilfælde er dog nok, at de påståede konklusioner er for interessante til, at man vil hænge sig i noget så kedeligt som fagfællebedømmelse. Derfor æder man konklusionen mere eller mindre råt.

  • 4
  • 0

Hej Jakob du skriver: Men indtil det eventuelt er blevet fagfællebedømt og eventuelt udgivet i et videnskabeligt tidsskrift er det ikkeforskning.

Jeg vil ikke forholde mig til det aktuelle eksempel, for det har jeg ikke studeret. men i går var sad jeg i et tætpakket Aud A på Niels Bohr Institutet og hørte Roger Penrose tale om sin teori for Universet, hvor Universet er cycklisk og afslutningen af en 'æon' glider direke over i en ny 'æon' ved et Big Bang.

Meget spekulativt og diskutabelt, selv om Sir Roger i en artikel på arxiv mener at have fundet evidens herfor i den kosmiske baggrundsstråling, Hvordan og hvorfor kræver en længere forklaring, den får I senere. Alle er langt fra enige, der findes allerede arxiv-artikler, der imødegår dette ud fra den kosmiske baggrundsstråling.

I denne forbindelse er det interessante, at Penrose fortalte, at nu var det lige før, at arxiv-artiklen er accepteret til offentliggørelse - vi mangler kun 'clarifications'.

Jeg er langt fra selv overbevist om rigtigheden af teorien, ud fra det jeg kan forstå, men jeg tøver ikke med at kalde det relevant og tankevækkende forskning, selv om det endnu ikke har bestået et formelt peer-review.

Hertil kan tilføjes, som du uden tvivl er bekendt med, at der er mange eksempler på fremragende forskning, der er blevet forkastet ved peer-review, men som senere er hædret på den ene og anden vis og ændret meget.

Og selv om Roger Penroses artikel formodentligt snart vil bestå sit peer-review gør det ikke automatisk hans teori til en sandhed.

Det er ikke så simpelt.

  • 5
  • 0

Hej Jens,

Tak for gode tanker og betragtninger - som jeg langt hen ad vejen er enig i.

Jeg vil ikke forholde mig til det aktuelle eksempel, for det har jeg ikke studeret.

Enig, sådan har jeg det også - i hvert fald hvad angår substansen af studiet. Mit ærinde er ikke at skose det pågældende studie eller de pågældende forskere. Deres studie og mediernes efterfølgende behandling af det tjener blot som et illustrativt eksempel.

i går var sad jeg i et tætpakket Aud A på Niels Bohr Institutet og hørte Roger Penrose tale om sin teori for Universet, hvor Universet er cycklisk og afslutningen af en 'æon' glider direke over i en ny 'æon' ved et Big Bang.

Meget spekulativt og diskutabelt, selv om Sir Roger i en artikel på arxiv mener at have fundet evidens herfor i den kosmiske baggrundsstråling, Hvordan og hvorfor kræver en længere forklaring, den får I senere. Alle er langt fra enige, der findes allerede arxiv-artikler, der imødegår dette ud fra den kosmiske baggrundsstråling.

I denne forbindelse er det interessante, at Penrose fortalte, at nu var det lige før, at arxiv-artiklen er accepteret til offentliggørelse - vi mangler kun 'clarifications'.

Jeg er langt fra selv overbevist om rigtigheden af teorien, ud fra det jeg kan forstå, men jeg tøver ikke med at kalde det relevant og tankevækkende forskning, selv om det endnu ikke har bestået et formelt peer-review.

Jeg er enig i essensen af det, du her siger.

Det centrale spørgsmål er dog følgende: Når du skriver en artikel om Penroses studie, vil du så fremlægge det som en uimodsagt sandhed, eller vil du også nævne og fremhæve modargumenter?

Du har allerede selv givet svaret ovenfor: "Alle er langt fra enige, der findes allerede arxiv-artikler, der imødegår dette ud fra den kosmiske baggrundsstråling".

Derudover: Du har en faglig baggrund til at forstå studiets substans. Du kan med andre ord lave en faglig vurdering af studiet (såvel som af mod-studierne).

Du har altså allerede udøvet kildekritik - både fordi du ved, at Penrose er en anerkendt og velanskrevet forsker, og fordi du er bekendt med og omtaler modargumenter. Og du er i stand til at vurdere studiet rent fagligt.

Derfor er det rimeligt, at du kalder Penroses studie for forskning.

Men de andre medier, som ikke er tilstrækkeligt kildekritiske, og som ikke har en faglig baggrund til at vurdere et studies substans, må vente på uafhængige eksperteres bedømmelse og vurdering - før de kan kalde et studie for forskning.

Deri ligger forskellen.

Hertil kan tilføjes, som du uden tvivl er bekendt med, at der er mange eksempler på fremragende forskning, der er blevet forkastet ved peer-review, men som senere er hædret på den ene og anden vis og ændret meget.

Dem er der mange af, ja. Der er bare mange flere, som er blevet forkastet ved peer-review, og som aldrig siden er blevet omtalt eller hædret - fordi det var forkert eller misvisende.

Og her ville jeg så igen bruge kildekritik: Hvem har lavet arbejdet, er de generelt velansete og dygtige, plejer de at lave solid forskning? Og hvad siger andre uafhængige eksperter?

Hvis summen af svarene på disse spørgsmål peger i retning af at arbejdet kan være rigtigt, vil jeg være tilbøjelig til at tro på det.

  • 1
  • 0

Interessant og relevant spørgsmål, der bliver rejst her. Måske man kunne stille et modspørgsmål: Er alt, der er publiceret i peer-reviewed tidsskrifter forskning? Er det god forskning? Er resultater og konklusioner heri nødvendigvis sande?

Forskning bør bedømmes på metoden der er anvendt og ikke nødvendigvis på, hvor det er publiceret. Der er stor variation i publicerede peer-review artikler/tidskrifter i forhold til kvalitet både af arbejdet, men i høj grad også af kvaliteten af fagbedømmelsen. Instinktivt vil man også let komme til at vægte "sandhedsgraden" af en artikel fra Nature/Science o.lign. højere end "sandhedsgraden" af en anden artikel (med måske lidt andre konklusioner) fra et mindre anerkendt tidsskrift. Men i bund og grund er det bare svært at vurdere, hvis man ikke kender fagområdet.

I tilfældet med nævnte studie, som nogle politiske partier tager til indtægt for at understøtte deres valgte politik, så skal man bare huske på at politik er ideologi og har intet med forskning eller sandhed at gøre. Hvis studiet nu viste det modsatte, ville man nok ikke høre de selvsamme partier argumentere for at de nu skulle revidere deres politik. Så om det nævnte studie er forskning eller ej, er når det kommer til stykket måske (desværre) ikke så vigtigt.

  • 0
  • 0

Hej Anders,

Tak for dit bidrag og dine tanker.

Interessant og relevant spørgsmål, der bliver rejst her. Måske man kunne stille et modspørgsmål: Er alt, der er publiceret i peer-reviewed tidsskrifter forskning? Er det god forskning? Er resultater og konklusioner heri nødvendigvis sande?

Det er bestemt relevant og spørge om. Og umiddelbart vil jeg sige, at nej - al peer-reviewed og publiceret forskning er ikke god, endsige sand. Det er forhåbentlig et bedste bud på, hvad vi ved - eller tror, vi ved - er sandt på udgivelsestidspunktet. Men vi bliver jo løbende klogere og finder sommetider ud af, at noget alligevel ikke forholdt sig som vi troede.

Samtidig er dette dog ikke et argument for, at vi ikke skal sondre mellem fagfællebedømt og ikke-fagfællebedømt arbejde. Det betyder faktisk bare, at vi også skal være kritiske og kildekritiske over for fagfællebedømt forskning - i det omfang vi kan.

Sagt med andre ord: Uafhængig fagfællebedømmelse er en nødvendig men ikke altid tilstrækkelig betingelse for, at vi kan tale om et stykke arbejde som "rigtigt" eller "sandt".

I tilfældet med nævnte studie, som nogle politiske partier tager til indtægt for at understøtte deres valgte politik, så skal man bare huske på at politik er ideologi og har intet med forskning eller sandhed at gøre. Hvis studiet nu viste det modsatte, ville man nok ikke høre de selvsamme partier argumentere for at de nu skulle revidere deres politik. Så om det nævnte studie er forskning eller ej, er når det kommer til stykket måske (desværre) ikke så vigtigt.

Jeg er meget enig.

Og så meget desto vigtigere er det, at vi som forskere holder fast i nogle standarder, om hvad forskning er, samt om hvad vi ved, måske ved og ikke ved. Så det ikke bliver et tag-selv-bord for politikere, hvor de, med forskere og "forskning" som rygdækning, kan selektere udsagn og undersøgelser til at legitimere deres egen ideologi.

  • 0
  • 0
Bidrag med din viden – log ind og deltag i debatten