Ukendt

  • Ing.dk er under ombygning - vi er tilbage mandag med nyt udseende. Henover weekenden er alt vores indhold åbent, men man kan ikke logge ind og debattere.
forskningsingeniøren bloghoved

Hvor skal man udgive sine negative forskningsresultater?

Tidsskriftsartikler: Forskningens pokalskab

En væsentlig komponent i at bedrive forskning er at fortælle om og formidle sine forskningsresultater, hvilket væsentligst sker igennem videnskabelige tidsskriftsartikler - den såkaldte primærlitteratur. Herudover er konferencer, undervisning samt fag- og lærebøger andre muligheder for at udbrede sine resultater, men disse har ikke inden for forskningen samme status som tidsskriftsartikler.

Dette manifesterer sig ved, at tidsskriftsartikler typisk er mere citerede end f.eks. konferenceartikler, ligesom at peer review af tidsskriftsartikler er mere grundig og omfattende. Dette betyder også, at resultater i en tidsskriftsartikel i de fleste tilfælde er mere færdige og afpudsede, mens konferencebidrag sommetider mere kan have karakter af "work in progress" - med delresultater og status for pågående arbejde, som sidenhen potentielt kan afsluttes og sammenfattes i en tidsskriftsartikel.

Opblæste forskningsresultater

At tidsskriftsartikler forventes at have denne form, før de eventuelt kan accepteres til udgivelse, betyder samtidig, at man skal have sin salgshistorie om resultaterne klar - hvor der ikke skal være for mange løse tråde og uafklarede spørgsmål! Hvis de alligevel eksisterer - og de gør de jo per definition, for forskning er ikke noget, man "bliver færdig med" - skal de helst ignoreres eller nedtones, hvis man altså ikke ønsker en masse besvær under peer review (og hvem ønsker dét?).

Ovenfor stiller jeg naturligvis tingene lidt skarpt op, og der findes heldigvis masser af ærlige og samvittighedsfulde forskere, som ikke blæser egne resultater op til mere, end de reelt er. Men med de stigende krav om at publicere nye resultater og at publicere i "de rigtige tidsskrifter" tager man nok heller ikke munden for fuld ved at påstå, at for mange forskningsresultater - og i hvert fald flere end tidligere - sælges som noget, de ikke er.

Negative resultater er for usexede

En anden konsekvens er, at der kun sjældent (eller måske faktisk aldrig?) udgives negative eller insignifikante resultater i videnskabelige tidsskrifter - medmindre de altså blæses op og sælges som noget, de ikke er. Negative resultater skal her forstås som videnskabeligt arbejde, der demonstrerer, at et eksperiment, en måle- eller beregningsteknik eller lignende ikke fungerer, som en hypotese tilsiger.

Illustration: Privatfoto

Pga. forventningen om "den positive historie" om forskningsresultater er det svært at udgive sådanne resultater - fordi negative resultater i den sammenhæng er for usexede.

Der er naturligt nok mange måder, at forskning ikke kan fungere på, og ethvert sådant tilfælde er det absolut ikke relevant at rapportere i primærlitteraturen. Men sommetider er afkræftning af en hypotese - altså et negativt resultat - ganske væsentlig at fortælle om, fordi man derved kommunikerer til andre, at de ikke behøver at bruge tid og kræfter på at afprøve selvsamme hypotese.

Som del af mit ph.d.-projekt på DTU Fotonik sidder jeg netop nu med en stor bunke negative resultater; en stribe undersøgelser, som dokumenterer og demonstrerer væsentlige begrænsninger og mangler i de beregningsteknikker, jeg arbejder med - hvilket ikke er beskrevet i litteraturen, givetvis fordi det ikke passede som en del af "den gode historie". Jeg vil gerne dele disse negative resultater med det videnskabelige fællesskab, men hvor henne?

Forslag til udgivelse af negative resultater

Nedenfor følger forslag til, hvor negative og insignifikante resultater kan udgives.

Mangler der nogen? Så del gerne dit forslag i kommentarerne nedenfor.

  • Ph.d.-afhandling. For en ph.d.-studerende er det oplagt at dokumentere negative resultater i ph.d.-afhandlingen, hvor der er mere plads og frihed end i tidsskriftsartikler. Dermed er det dog også essentielt, at man senere kan finde folks ph.d.-afhandlinger på internettet for at læse om de negative resultater.
  • Journal of Negative Results. Jeg kender ikke til sådanne tidsskrifter inden for fysik, men i bl.a. biomedicin findes der Journal of Negative Results - som altså netop udgiver negative forskningsresultater, så længe disse er baseret på videnskabeligt arbejde.
  • Artikelmanuskript på arXiv eller anden open data server. Man kan skrive resultaterne sammen og lægge manuskriptet på en open data server som f.eks. arXiv. Disse anerkendes i stadig større grad som referencer i tidsskriftsartikler, og arbejdet kan dermed citeres. Ulempen kan være, at man ikke får kritisk feedback via peer review.
  • Blogindlæg. Skriv en blog, og beskriv heri de negative resultater. Fordelen ved denne løsning er, at det er relativt nemt; ulempen er, at det ikke (i dag i hvert fald) anerkendes som en egentlig udgivelse, der f.eks. kan citeres i tidsskriftsartikler.
Jakob Rosenkrantz de Lasson er civilingeniør og ph.d. i nanofotonik fra DTU. Jakob bloggede fra 2012-2022 om forskning, fotonik og rumteknologi.
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først

Selvfølgelig skal negative resultater publiceres. Der er jo ikke tale om et folketingsvalg. Negative er 'kun negative i forhold til en hypotese. Det er ikke en nedladende vurdering. Masser af investeringer kunne være undgået, hvis man havde overkommet en grundig analyse (især gennemført en forsøgsplan inden beslutningen). Det vil jo også hjælpe andre Ph.D'er at søge nye hypoteser og ikke gentage samme 'negative' hypotese. Det sidste er jo direkte spild af ressourcer.

  • 4
  • 1

Selvfølgelig skal negative resultater publiceres. Der er jo ikke tale om et folketingsvalg. Negative er 'kun negative i forhold til en hypotese. Det er ikke en nedladende vurdering. Masser af investeringer kunne være undgået, hvis man havde overkommet en grundig analyse (især gennemført en forsøgsplan inden beslutningen). Det vil jo også hjælpe andre Ph.D'er at søge nye hypoteser og ikke gentage samme 'negative' hypotese. Det sidste er jo direkte spild af ressourcer.

Hej Knud,

Tak for dine kommentarer - som jeg er helt enig i; der er meget spild forbundet med ikke at rapportere, hvad der ikke virker!

Men hvor skal de "negative resultater" publiceres henne?

  • 1
  • 0

Jeg kan huske at jeg læste i Ben Goldacres bog "Bad Science" om et middel der blev undersøgt i 1970'erne (tror jeg) som middel mod hårtab eller nogen andet relativt ligegyldigt, men blev droppet fordi det forårsagede øget dødelighed. Man publicerede aldrig resultaterne fordi de var negative.

Sidenhen tog et andet medicinalvarefirma produktet op igen og markedsførte det mod en anden sygdom indtil det viste sig at produktet var så farligt at man måtte trække det tilbage. De kendte ikke til de gamle resultater for de var aldrig offentliggjort.

  • 2
  • 0

Umiddelbart ville mit svar være at "negative" resultater burde publiceres samme sted som "positive" resultater, idet der vel ikke er principiel forskel på de to. Skal man f.eks. finde den rigtige af to muligheder, A og B, er det negative resultat (ikke A) lige så godt som det positive (B). Derimod er det knap så interessant hvis man viser at en enkelt ud af 1000 muligheder ikke er den rigtige.

Problemet er vel snarere hvad man skal gøre af resultater, som ikke er tilstrækkelig betydende til at retfærdiggøre en sædvanlig publicering. Valget mellem dine udmærkede forslag afhænger vel i høj grad af hvor meget tid man vil ofre på at præsentere og dokumentere resultaterne.

  • 3
  • 0

Ja undskyld det ved jeg ikke. Faktisk er jeg forbløffet over spørgsmålet. 1 enhver hovedopgave/ Ph-d afhandling burde vel i forhold til studiet offentliggøres (er jo ofte betalt af skatteyderpenge). 2 Men det spreder ikke budskabet meget, det er jeg med på. Men har der ikke været tale om at etablere databaser for sådanne sager måske inklusive et abstract? (så ville det da være søgbart?)

  • 2
  • 0

Problemet er vel snarere hvad man skal gøre af resultater, som ikke er tilstrækkelig betydende til at retfærdiggøre en sædvanlig publicering.

Præcis, for man kan rigtignok ikke på traditionel vis publicere hver eneste flig af et resultat, uanset om det er positivt eller negativt - i hvert fald ikke hvis man vil undgå, at de "store og betydende" resultater skal drukne.

Valget mellem dine udmærkede forslag afhænger vel i høj grad af hvor meget tid man vil ofre på at præsentere og dokumentere resultaterne.

Og ja, det gør det helt klart. Eller måske mere præcist: Hvor meget vægt sådanne mindre officielle udgivelser tilskrives - for hvis bare resultaterne kan få opmærksomhed og omtale, og altså dermed potentielt være brugbare for andre, tror jeg godt, at folk vil investere tiden i at udgive dem.

I den forbindelse er forslaget om at "maksimere indflydelsen via et større 'akademisk fodspor' " interessant: http://blogs.lse.ac.uk/impactofsocialscien...

  • 1
  • 0

Negative forskningsresultater, er som jeg ser det nogle af de mest vigtige - og det er en katastrofe, hvis ingen "tør" offentliggøre dem. Dog, skal man passe på - for forskningsmæssigt, er det kun interessant, hvis det ikke skyldes bunker af fejlkilder. Fra et undervisningssynspunkt, er fejl dog også væsentlige - og det er sjældent, at man når noget, uden at begå mange fejl undervejs. Den erfaring, man lærer af sine fejl, kan man naturligvis give videre, men det er ikke forskning.

Som arbejdsløs har jeg gået på mange jobsamtalekurser og vi lærer konstant, hvor vigtigt det er, at ikke sige noget negativt. Hverken om os selv, eller om andet. Vi skal være 100% positive. Og bliver vi spurgt om svage siger - så må vi intet afsløre.

En gang fik jeg at vide, at det var en "kultur" ting, og at man i andre kulturer, ikke var så bange for at give sin erfaring, og fejl videre. Giver man sine fejl videre her i vesten er det en katastrofe. Ikke kun, vil man blive hængt op på dem. Men man risikerer også, at andre lærer af dem.

  • 1
  • 0

Negative forskningsresultater, er som jeg ser det nogle af de mest vigtige - og det er en katastrofe, hvis ingen "tør" offentliggøre dem. Dog, skal man passe på - for forskningsmæssigt, er det kun interessant, hvis det ikke skyldes bunker af fejlkilder.

Helt enig - og er man seriøs og ærlig, bruger man naturligvis virkelig meget tid og energi på grundigt at tjekke, at små eller større fejl i arbejdet ikke er skyld i, at noget virker til at være forkert eller ikke virke. På et tidspunkt har man dog tjekket alting så grundigt, at der bare være noget om det - og ja, så ville det bestemt være brugbart at kunne rapportere, hvad andre - måske uforvarende, måske mere eller mindre bevidst - har overset.

  • 3
  • 0

Men hvor skal de "negative resultater" publiceres henne?

Ville man ikke publicere dem "det samme sted" som de positive?

Jeg kunne da godt forestille mig et "Some limitations of current numerical methods for photonics ... " (eller sådan noget) blev präsenteret på en poster-session ved en konference. Det slags er nok ikke noget der kommer i "Nature" - men et par papers i "Proceedings of .... eller andet" burde man kunne göre - hvis "fejlene" er nye og relevante for andre i feltet, så er det jo også et skridt fremad.

  • 2
  • 0

Som arbejdsløs har jeg gået på mange jobsamtalekurser og vi lærer konstant, hvor vigtigt det er, at ikke sige noget negativt. Hverken om os selv, eller om andet. Vi skal være 100% positive. Og bliver vi spurgt om svage siger - så må vi intet afsløre.

Det er jo noget forkvaklet pjat at läre folk ;-). Jeg vil da meget gerne höre om noget som gik mindre godt og om hvordan man overvandt problemerne. Jeg synes at det er temmelig vigtigt at kandidaterne har en hvis udholdenhed og at de har prövet det de siger at de kan. Det de skal arbejde med er svärt. Hvis de ikke har oplevet nogen problemer undervejs så har de näppe arbejdet nok med tingene. Der skal simpelthen flere detaljer på "historien" end man kan läse sig til - der er overraskende mange som lyver på deres CV / Linked-In profil og oven i köbet tror vi ikke kan finde ud af at slå det op!

Jeg gider ikke höre om "svage sider" det er et dumt spörgsmål. Selvfölgeligt lyver folk hvad enten de siger: "Ja, nogen gange arbejder jeg så meget at jeg helt glemmer at spise og besvimer af udmattelse når jeg löber en Iron Man om aftenen. Derfor har jeg altid en ekstra EnergyBar med mig" eller "Ingen". ... Når nogen overhovedet kommer til samtale, så er det fordi der er eet eller andet i vejen - ellers ville de jo sidde i det perfekte job, med den perfekte karriere, den perfekte lön, med investeringer som fuldt ud däkker regningerne, og de ville derfor slet ikke väre motiveret til at söge et job "her". Mit problem her er sådan set at finde ud af om "problemerne" er noget vi kan leve med.

Det träkker til gengäld ned hvis man er negativ over for "idioterne i ledelsen" / "kollegaerne som er käreste med chefen" eller den slags, folk behöver at väre diplomatiske og der findes idioter overalt - som man må kunne navigere uden om for at kunne arbejde effektivt.

Giver man sine fejl videre her i vesten er det en katastrofe. Ikke kun, vil man blive hængt op på dem. Men man risikerer også, at andre lærer af dem.

Jeg er ikke enig. Normal praksis er at man tager skylden for alle fejl som er begået af en selv eller "undersåtterne" og at man giver "undersåtterne" ären for det som går godt.

Fordi sådan er det: Man tänker naturligvis altid over "hvorfor fjolserne aldrig kan finde ud af noget" - men, som regel er det desvärre fordi man ikke fik specificeret opgaven godt nok eller at de man satte til det faktisk ikke ved noget om jobbet (nutidens unge må jo ikke längere sige at de ikke kan tingene ;), eller man burde vide nok til at undgå visse personer eller afdelinger.

Det med aldrig at afslöre fejl eller have nogen problemer mener jeg er en Amerikansk ting; de er faktisk meget värre end Japanerne (hvor man åbent reflekterer over hvordan noget går galt).

Det siver ind "her" fordi meget at ledelseslitteraturen er Amerikansk og meget salgs-orienteret (isär med at sälge Bogen, Metoden og de tilhörende Kurser på 100% kommission ved siden af konsulent-jobbet for A-kassen). Der findes naturligvis megen fornuftig Amerikansk litteratur inde for ledelse og pädagogik, som blandt andet Japanerne har taget til sig, den er bare ikke så kendt her.

Inden for vores "fleksible, omstillings-parate, nul-fejls-kultur" er den mest typiske fejl i örvigt at sige "ja" til en opgave man reelt ikke kan löse. Det förer så til klyt, fusk & klamphuggeri, stress, samt et helt enormt spild af tid og penge.

Inden for produktudvikling, så er det rigtigt at det er en fordel ikke at nävne ting som ikke fungerer - man kan jo altid håbe på at konkurrenten bruger mange ressourcer på at kopiere en teknologi som man selv i stilhed har skrottet. En dårlig teknologi, som leder til et stort product-recall hos konkurrenten, er måske endnu mere värd "for os" end at "vi" har en teknologi som fungerer.

  • 1
  • 0

Ville man ikke publicere dem "det samme sted" som de positive?

Jeg kunne da godt forestille mig et "Some limitations of current numerical methods for photonics ... " (eller sådan noget) blev präsenteret på en poster-session ved en konference. Det slags er nok ikke noget der kommer i "Nature" - men et par papers i "Proceedings of .... eller andet" burde man kunne göre - hvis "fejlene" er nye og relevante for andre i feltet, så er det jo også et skridt fremad.

Jo, hvis tingene vinkles rigtigt, og - endnu bedre - hvis man har bud på løsninger, så kan de selvfølgelig udgives i tidsskrifter.

Og ditto med konferencer; vi vil i et par præsentationer snakke om nogle af problemstillingerne til PIERS i næste måned (http://www.piers.org/piers2015Prague/progr...).

  • 0
  • 0
Bidrag med din viden – log ind og deltag i debatten