Dette indlæg er alene udtryk for skribentens egen holdning.

Rapporter og myndighedsbetjening: Er det forskning?

5. november 2019 kl. 18:5711
Artiklen er ældre end 30 dage

Ingeniøren beskriver i dag, at Omstridt Aarhus-forskning blev stort set aldrig kvalitetstjekket.

Sagen udspringer, som Information har afsløret og som beskrevet her på bloggen, af en rapport, som Aarhus Universitet har udgivet uden at deklarere, at den var blevet til i tæt samarbejde med bl.a. interesseorganisation Landbrug & Fødevarer

Den her og relaterede sager om myndighedsbetjening - hvor universiteter leverer analyser, resultater og rapporter til myndigheder og andre eksterne interessenter - rejser spørgsmålet:

Er det forskning ?

Artiklen fortsætter efter annoncen

Jeg ville til sammenligning ikke kalde det, som f.eks. tænketanke og interesseorganisationer laver af analyser og rapporter for forskning. Disse kan sagtens være brugbare og relevante for forskere, politikere og samfundet generelt, men forskning er det ikke.

I nogle tilfælde er der tale om rendyrkede partsindlæg, hvor data og præmisser er selekteret for at fremme en interesse - i andre tilfælde om mere objektive analyser. Men fordi man undersøger noget og skriver det ned, er der ikke tale om forskning.

Læs også: Undersøgelse: 34 af 55 rapporter fra omstridte Aarhus-forskere indeholder fejl

Som et helt centralt punkt herfor er fagfællebedømmelse (peer review) altid fraværende i disse tilfælde - ligesom det også har været for rapporterne fra Aarhus Universitet.

Artiklen fortsætter efter annoncen

Dette begrundes med, at peer review (hos videnskabelige tidsskrifter) er en meget langsommelig proces, og dette er i vid udstrækning sandt. Det kan nemt tage måneder eller nogle gange år at få bedømt og siden udgivet en artikel i et videnskabeligt tidsskrift.

Men hvis der ikke er uafhængige eksperter, som gennemgår, foreslår rettelser til og i sidste ende accepterer eller forkaster et givent stykke arbejde, så er der ikke tale om meget andet end et partsindlæg.

Dette betyder ikke nødvendigvis, at arbejdet er forkert eller misvisende. Men det må klart deklareres, hvem der har lavet arbejdet, så man kan læse og forstå det igennem det prisme, som forfatternes interesser udgør.

Og det har - fuldstændig uforståeligt - i stort omfang været fraværende i de mange rapporter, som Aarhus Universitet har udarbejdet.

11 kommentarer.  Hop til debatten
Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
10
8. november 2019 kl. 12:48

En DTU'er der angriber Århus

Det er en mega fejl de har lavet i Århus - og de ved det og de har aendret...... Og... de mange mega fejl fra DTU.... Dem mangler du at fokusere på.... (Ups... Det er jo vennerne) ... Kan du ikke fokusere ligeså meget på dem??

9
7. november 2019 kl. 14:01

Ja.

Og derfor er det OGSÅ en kvalitetsfaktor hvem der IKKE har haft mulighed for, eller er anmodet om, at foretage et review, en anmeldelse, skrive en replik.

Det kan man så, for en del emner, klandre såvel journalister som debattører for IKKE at påpege.

Tag den famøse mastediskussion i Vestjylland, hvor ministeren med et let element af magtfordrejning siger: "Høring, send hvem I vil, men der ændres ikke noget" - ifølge DR Nyheder. Som grundlag for mit seneste debat-indlæg har jeg læst en del på nettet, hvor det er PÅFALDENDE hvor mange nærligt enslydende journalistiske fremstillinger, som tager ordret udgangspunkt i Energinet.dk's partsindlæg på hjemmesiden.

8
7. november 2019 kl. 13:55

Blot den "semantiske kommentar: Sammenlign disse udsagn / "kvalitetsfaktorer: "Peer Review gennemført" eller "Peer Review gennemført af xxx, yyy, zzz uden anmærkninger."

Jeg fastholder, at det sidste udsagn signalerer en anden kvalitet end det første.

P.S.: Den videnskabelige proces, med mine kommentarer, synes jeg er fin. Men jeg må også fastholde, at der KAN VÆRE situationer, hvor hastighed (URGENCY) skal have forrang. Helt aktuelt henviser jeg til det tragiske forsøg i Sverige med forsinket igangsætning af fødsler. Her er et peer review etisk uacceptabelt, hvis det forsinker en præliminær publicering. Altså kan der være tungere hensyn end den videnskabelige metode Det vil især gælde for medicin, sundhed og sikkerhed i alle aspekter.

7
7. november 2019 kl. 13:07

Hej Jan,

Tak for gode betragtninger om emnet.

Måske er det et spørgsmål om semantik

Det er det utvivlsomt - men det gør ikke snakken og emnet irrelevant:-)

Folk tror på, at "forskning" er noget, som er objektivt sandt (ud fra den nuværende viden) og derfor uangribeligt. Så det er ret afgørende, om noget er forskning eller ej. Hvis det ikke er forskning, men noget andet - f.eks. et partsindlæg - vil man nemlig læse og bruge det anderledes, end hvis det faktisk er forskning.

Disse kvalitetsfaktorer kan så anvendes af læsere, brugere, til at vurdere hvor godt eller ikke godt det foreliggende er - altså inden en selvstændig vurdering.</p>
<p>Eksempler på kvalitetsfaktorer:</p>
<ul><li>hvilke kvalifikationer har forfatterne ? (e.g. for tiden vil DCA nok stå lavere end før)</li>
<li>er området unikt eller en sammenstilling af andre resultater ? (sammenstilling kan være værdifuld)</li>
<li>er interessenterne anført (hvem har bestilt ?, hvem har betalt ?, hvem har kunnet ændre ?)</li>
<li>hvem har kommenteret / haft mulighed for at kommentere det originale manuskript ?</li>
<li>hvilke ændringer er indført i det originale manuskript ? er de dokumenteret ?</li>
<li>hvilke peers har lavet review og med hvilke resultater ?</li>
</ul><p>Med andre ord, det er for simpelt og unuanceret blot at råbe: PEER REVIEW.

Jeg er enig i din liste af kvalitetsfaktorer. Men det sidste forstår jeg ikke, for fagfællebedømmelsen (peer review) består netop af en bedømmelse af kvalitetsfaktorerne - vel at mærke en bedømmelse foretaget af flere eksperter, der har viden, erfaring og kvalifikationer til at vurdere disse.

Et peer review er ikke i sig selv nødvendigt, eller nok. Men det kan være en stærk kvalitetsfaktor.

Her er vi uenige.

Forskning fordrer en uafhængig fagfællebedømmelse. Nogle gange er sådanne peer reviews dårligt udførte, så dårlig/fejlagtig/misvisende/ligegyldig forskning slipper igennem. Derfor er det rigtigt, at peer review ikke altid er nok. Men det er helt sikkert nødvendigt.

Som Robert A. Day beskriver det i sin bog “How To Write and Publish A Scientific Paper”:

“A scientific experiment, no matter how spectacular the results, is not completed until the results are published. In fact, the cornerstone of the philosophy of science is based on the fundamental assumption that original research must be published; only thus can new scientific knowledge be authenticated and then added to the existing database that we call scientific knowledge.”

Og her skal "published" forstås som udgivet i et videnskabeligt tidsskrift efter at have gennemgået peer review.

Det kommer nemt til at lyde som om, at jeg synes, at der findes fagfællebedømt forskning - og så findes der løgn. Og sådan er det selvsagt ikke.

Der er masser af information, analyser, rapporter mv., som ikke er fagfællebedømt, men som stadig kan være brugbart, relevant og interessant - som også beskrevet i blogindlægget.

Men som omtalt indledningvis ovenfor er det vigtigt at være præcis omkring, hvad forskning er, og hvad det ikke er. Ellers udvandes begrebet, hvilket vi absolut ikke har brug for i disse tider.

6
7. november 2019 kl. 12:00

Tjo - og hvad med en forskning der ligger bag DTU´s vindmøllemodel som er forkert - og den DTU transportmodel der viste 11.000 biler over en bro og der kom kun 2.800 - og den DTU viden der findes om elkabler - som er totalt fraværende i den nuværende debat - og den DTU viden der er om jernbane jura - som totalt manglede at komme til ministereiet, i Vejen skandalen - ...

5
7. november 2019 kl. 10:54

Måske er det et spørgsmål om semantik, men måske aligevel ikke.

Jeg tager udgangspunkt i en rapport, en artikel, en fremstilling om "eet eller andet".

Hertil mener jeg at kunne knytte nogle kvalitetsfaktorer, som altså udtrykker noget om kvaliteten, boniteten af det foreliggende. Disse kvalitetsfaktorer kan så anvendes af læsere, brugere, til at vurdere hvor godt eller ikke godt det foreliggende er - altså inden en selvstændig vurdering.

Eksempler på kvalitetsfaktorer:

  • hvilke kvalifikationer har forfatterne ? (e.g. for tiden vil DCA nok stå lavere end før)
  • er området unikt eller en sammenstilling af andre resultater ? (sammenstilling kan være værdifuld)
  • er interessenterne anført (hvem har bestilt ?, hvem har betalt ?, hvem har kunnet ændre ?)
  • hvem har kommenteret / haft mulighed for at kommentere det originale manuskript ?
  • hvilke ændringer er indført i det originale manuskript ? er de dokumenteret ?
  • hvilke peers har lavet review og med hvilke resultater ?

Med andre ord, det er for simpelt og unuanceret blot at råbe: PEER REVIEW. Sat på spidsen, så kunne et peer review resulterer i kritik og rettelser inden publicering i et omfang og af en art som indikerer: det er nok ikke den bedste artikel, rapport, publikation, men ok nu er den ihvertfald med få fejl ......

For mig er FORSKNING et arbejde i ukendt område, som bringer ny viden, ny erkendelse, til overfladen. Boniteten kan vurderes ud fra de nævnte, og andre, kvalitetsfaktorer. Et peer review er ikke i sig selv nødvendigt, eller nok. Men det kan være en stærk kvalitetsfaktor.

P.S.: For lige at berøre eet af tidens varme emner i den tekniske verden: Der er stor diskussion, fortsat, om de nye højspændingsmaster i Vestjylland, og senest idag har ministeren annonceret en "eksperthøring". De interesserede vil vide, at Energinet har publiceret partsindlæg, som er bredt citeret, medierne har dækket sagen, en såkaldt uvildig rapport blev lavet i december (bortset fra at parterne (som med DCA's oksekød) havde rettet i rapporten) OG flere universitetsfolk også udtaler sig. Prøv lige at knytte kvalitetsfaktorer til de enkelte elementer ......

4
6. november 2019 kl. 09:52

Er det forskning?</p>
<p>Jeg har også svært ved at forstå den praksis, der øjensynlig har hersket på DCA; ingen kontrakter, ingen kvalitetssikring (peer review), men man skal nok adskille forskning og forskningsbaseret myndighedsbetjening. Den forskningsbaserede myndighedsbetjening skal jo svare på en konkret spørgsmål stillet af en kunde med en politisk eller økonomisk interesse i et bestemt svar, men svaret bør altid frembringes efter forskningens grundprincipper; transperans, reproducerbarhed, disinterestedness (i mangel af et godt dansk ord).

Søger man på "Myndighedsbetjening", ser man, at både ministerier og universiteter omtaler det som "Forskningsbaseret myndighedsbetjening" - der ifølge Uddannelses- og Forskningssministeriet er:

"...en fællesbetegnelse for en række ydelser, som universiteterne udfører for staten og andre aktører. Ydelserne spænder fra forskning inden for et bestemt område til konkrete beredskabs- og rådgivningsopgaver"

Og det er jo helt fint. Bortset fra at den omtalte forskning altså ikke er forskning, hvis den ikke er blevet bedømt og accepteret af uafhængige eksperter.

Ifølge den officielle vejledning om "Publicering i forbindelse med forskningsbaseret myndighedsbetjening":

"...kan der også opstå den situation, at en myndighed ønsker at offentliggøre en myndighedsrapport, der indeholder resultater, der er fremsendt til, men endnu ikke er accepteret i et videnskabeligt tidsskrift.

Det bør fremgå af aftalen mellem universitet og myndighed, om offentliggørelse af myndighedsrapporten i sådanne tilfælde må afvente den videnskabelige publicering".

Så universiteterne kunne, i hvert fald i teorien og ifølge de officielle retningslinjer, insistere på, at den såkaldte forskning skal bedømmes eksternt, før myndighederne bruger og offentliggør den.

3
6. november 2019 kl. 09:51

Der er i hvert fald ikke tale om forskning forstået på den måde, som du selv har andre har bedrevet forskning. Det er helt klart.

Men skulle vi så ikke kalde det noget andet? Ingeniøren omtaler det i den artikel, jeg først ovenfor henviser til, som "Aarhus-forskning".

2
6. november 2019 kl. 09:49

Er det forskning?

Jeg har også svært ved at forstå den praksis, der øjensynlig har hersket på DCA; ingen kontrakter, ingen kvalitetssikring (peer review), men man skal nok adskille forskning og forskningsbaseret myndighedsbetjening. Den forskningsbaserede myndighedsbetjening skal jo svare på en konkret spørgsmål stillet af en kunde med en politisk eller økonomisk interesse i et bestemt svar, men svaret bør altid frembringes efter forskningens grundprincipper; transperans, reproducerbarhed, disinterestedness (i mangel af et godt dansk ord).

1
Videnskabsredaktør -
5. november 2019 kl. 23:09
Videnskabsredaktør

Der er i hvert fald ikke tale om forskning forstået på den måde, som du selv har andre har bedrevet forskning. Det er helt klart.