Middelmådig forskning når lettere toppen end banebrydende opdagelser
more_vert
close

Få de daglige nyheder fra Version2 og Ingeniøren. Læs mere om nyhedsbrevene her.

close
Ved at tilmelde dig accepterer du vores Brugerbetingelser, og du accepterer, at Teknologiens Mediehus og IDA-gruppen lejlighedsvis kan kontakte dig om arrangementer, analyser, nyheder, job og tilbud m.m. via telefon og e-mail. I nyhedsbreve, e-mails fra Teknologiens Mediehus kan der forefindes markedsføring fra samarbejdspartnere.

Middelmådig forskning når lettere toppen end banebrydende opdagelser

De mest citerede videnskabelige artikler i verden er ikke de bedste eller mest banebrydende - hverken objektivt set bedømt eller efter forfatternes egen opfattelse. Det fremgår af to nye undersøgelser, der er fremlagt i denne uge i Nature.

De 100 mest citerede videnskabelige artikler i verden, der er offentliggjort siden 1900, er fundet af Thomson Reuters med online-version Web of Science af Science Citation Index (SCI).

I den anden undersøgelse har John P.A. Ioannidis fra Stanford University i USA bedt forfattere til de mest citerede artikler inden for biomedicin bedømme deres egne topciterede artikler i forhold til andre af deres arbejder og til anden forskning inden for området. Det er der kommet nogle overraskende opdagelser ud af.

Top 100-listen domineres af biologiske laboratoriemetoder. Nummer 1 er en artikel fra 1951, der beskriver en metode til bestemmelse af proteinindholdet i en opløsning offentliggjort i Journal of Biological Chemistry. Denne artikel er citeret ikke mindre end 305.148 gange.

Artiklen førsteforfatter, Oliver Lowry, har for mange år siden sagt, at han er overvældet over responsen på artiklen, for 'jeg ved, det ikke er en særlig god artikel'.

Top 100-listen viser, at den bedste måde til at blive flittigt citeret er at beskrive en eksperimentel metode eller en metode inden for matematisk statistik eller software, som er essentiel at bruge for mange forskere.

»Det giver flere citationer end at opdage universets hemmeligheder,« bemærker kemikeren Peter Moore fra Yale University i USA.

Der er et pænt stykke fra nummer et ned til nummer to og tre (som også er laboratoriemetoder til bestemmelse af proteiner) med henholdsvis 213.005 og 155.530 citationer.

For at være i top 100 skal en artikel mindst have 12.119 citationer. Blandt de mere berømte artikler, der har nået top 100, er artikler om kulstofnanorør (nr. 36) og grafen (nr. 65), mens eksempelvis Watson og Cricks artikel om strukturen for dna kun har 5.207 citationer.

Mere end tre fjerdedele af de næsten 58 millioner videnskabelige artikler, der indgår i undersøgelsen, er højst citeret ni gange. 44 pct. har slet ingen citationer.

Denne skribent noterer med tilfredshed at være medforfatter til to artikler fra 1981 og 1982 med henholdsvis 210 citationer og 216 citationer, som hører til blandt de to procent af verdens mest citerede videnskabelige artikler, der har mere end 100 citationer.

Disse tal stammer dog fra Google Scholar, som Nature bemærker ikke giver helt samme værdi for antallet af citationer som Web of Science.

Forskere: Vore topciterede artikler er ikke revolutionær forskning

John P.A. Ioannidis fra Stanford University koncentrerer sin undersøgelse om forskerne bag videnskabelige artikler om biomedicin offentliggjort i perioden 2005-2008. 123 forskere, som havde artikler med blandt de 400 mest citerede, bedømte disse og andre af deres mindre citerede artikler i forhold til hinanden.

Forskerne vurderede deres topciterede artikler højt, når det gjaldt løbende fremskridt og generel interesse, men gav dem lavere karakter, når det gjaldt ‘disruptiv innovation’ og ‘overraskelse’. De fleste mente, at deres mest citerede artikel også var deres vigtigste artikel i denne periode, men de beskrev også forskningen som værende evolutionær snarere end revolutionær

En sjettedel af forskerne mente ikke, at deres mest vigtige artikel i denne periode var blandt de ti mest citerede af deres egne artikler.

Et god råd til danske forskere

John Ioannidis forudser, at andelen af virkeligt banebrydende artikler i fremtiden vil falde blandt de mest citerede, og der vil kommer flere artikler, der giver en syntese af allerede kendt viden.

Også danske forskere og universiteter måles i høj grad på deres publikationer og citationer. I forbindelse med evalueringen af Det Frie Forskningsråd for nylig blev en omfattende bibliometrisk undersøgelse af forskernes artikler fremlagt.

Læs også: Evalueringspanel kritiserer forskningsråd: Alt for få kvinder i dansk topforskning

Ifølge Jesper Schneider fra Center for Forskningsanalyse (CFA) ved Aarhus Universitet, som har stået i spidsen for analysen, viser den, at forskere støttet af Det Frie Forskningsråd publicerer artikler, der har en gennemslagskraft på højde med de højest performende europæiske universiteter, men ligger lidt under de tre højest performende amerikanske universiteter.

Hvis Det Frie Forskningsråd vil opnå en endnu bedre bedømmelse efter de metoder, som er lagt til grund i sådanne bibliometriske analyser, bør forskningsrådet i lyset af opgørelserne i Nature i højere grad støtte forskning i eksperimentelle metoder end ren nysgerrighedsdrevet forskning, som rådet ellers erklærer, det prioriterer højest.

Alternativt kan man i stedet være opmærksom på faldgruberne i citationsanalyser og lade være med at tillægge dem alt for stor betydning, når man skal udpege de bedste forskere og den bedste forskning.

sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først

Den tidshorisont som her benyttes er jo kort, men den bekræfter den trend som videnskabernes historie udstikker. Der går oftest ca. 40 år fra en grundlæggende, banebrydende teori fremføres og dokumenteres, til den bliver accepteret. Det lader til at det også er sådan i dag.
Når samtiden vurdere videnskabeligt arbejde siger det således mere om samtidens ståsted og forståelsesmønster end om det videnskabelige arbejde.
"Science History and the Future"
http://unifiedscience.blogspot.dk/2011/02/...

  • 0
  • 1

Der går oftest ca. 40 år fra en grundlæggende, banebrydende teori fremføres og dokumenteres, til den bliver accepteret.

Handler nok mere om, at de artikler man citerer i en artikel netop er de letforståelige, der beskriver 'current state of the art' indenfor det felt man nu skriver om. Dvs. citeringer handler om hvor brugbare artiklerne er, snarere end hvorvidt de er fantastiske.

Banebrydende forskning citerer man stort set kun, når man enten skal henvise til konkurrerende opfindelser (gør man sjældent), eller hvis man vil eftervise den banebrydende forskning (normalt kun nogle få, som gør).

  • 3
  • 0

Martin Brorsen
Det har du jo helt ret i. De uhensigtsmæssigheder som artiklen beskæftiger sig med og det du beskriver, er imidlertid for intet at regne i forhold til de faglige og mentale brandmure som eksistere forskellige fagdiscipliner imellem. De aller fleste videnskabsfolk holder sig indenfor deres mere eller mindre snævre felt og beriger eller bekriger så hinanden indenfor de rammer.
Ingeniører holder sig til konstruktion og produktion, og kan konstatere, at produktionen fortsat udflages. Økonomerne holder sig til økonomi, og kan konstatere at samfundet på 6 år fortsat er i krise.
Begge faggrupper kan en masse om sandsynligheder og statistik, men det får dem ikke til at undersøge og debattere om der i virkeligheden er tale om den samme krise, årsag / virkning, som bare tolkes forskelligt af to faggrupper. O.S.V.
"Byg ikke et hus på Sand"
http://videnskabeligindsigt.blogspot.dk/20...

  • 1
  • 0

Et godt eksempel på udviklingen er indenfor røg og partikler.
Det er simpelthen et selvforsynende system, der baserer sig på et minimalt antal originale undersøgelser.
Resten af artiklerne er fristile over alle disse artikler der citerer hinanden på kryds og tværs.
Det kan da være udmærket at få samlet op på den tilgængelige viden ved sådanne litteraturstudier, men muligheden for en vis bias i udvælgelsen er åbenbar. De fleste artikler, som bliver kendt, bliver det fordi de mener der er noget farligt i det. De artikler der finder det mindre farligt er få og bliver aldrig citeret.

  • 1
  • 2

Som forsker kan jeg ikke lade være med igen dybt at undres. Jeg må som udgangspunkt endnu engang konstatere, at:

  • antallet af citationer intet har med forskningens eller artiklens kvalitet at gøre.
  • de bibliometriske evalueringsmaskiner fortsat bedømmer forskningens kvalitet på antallet af citationer.
  • næsten halvdelen af alle artikler er endnu ikke blevet citeret.
  • de opstillede lister ofte topper med obskure amerikanske journals, der indenfor mit fag (ledelse) generelt er fulde af sludder og vrøvl.

Resultatet er som altid, at kvantitet forbliver herre over kvaliteten, og det seneste tiltag fra Uddannelses- og forskningsministeriet med en ny hjemmeside, der gør antallet af publicerede artikler centrale og transparente, understreger med al forudsigelighed at det bliver der ikke gjort noget ved. Tværtimod.

Jo mere intetsigende pladder, desto bedre.

Konsekvensen har jeg selv taget for længst. Jeg gider simpelthen ikke spilde min tid på at læse artikler længere, med mindre jeg har fået dem anbefalet af en kollega. Og jeg sætter selv en stor ære i aldrig at publicere en artikel fordi jeg skal, men kun fordi den er værd at vise til andre. Den dag jeg får besked på at jeg skal, er jeg ikke længere at finde på gangene.

Gid alle mine kolleger ville gøre det samme ...

  • 2
  • 0

Når man vurderer bibliometri har man det med at forveksle sensitivitet og specificitet. Det har bevillingsgivere desværre også. Bibliometri er relativ god til identificere ikke særligt gode forskere (Og her skal man så huske at unge forskere er svære at vurdere fordi H-faktor er stort set monoton stigende med alderen, så den er ikke god at bruge i starten af karrieren), men det er meget vanskeligere at vurdere 2 gode forskere ved at sammenligne h-faktoren. Det afhænger mere af hvor stort ens felt er, citationspraksis etc.

Brugt rigtigt er bibliometri et fremragende værktøj men det er ikke guds vidunder. Selvfølgelig kan forskningsvurdering ikke reduceres til en skalar, ligesom IQ ikke siger alt om ens fremtidsudsigter. Ikke alle med IQ 140 bliver ingeniører eller akademikere, men jeg kan nu godt med ret stor sikkerhed sige at en med IQ 80 ikke bliver ingeniør.

Forhåbentlig går det op for bevillingsgiverne at de får meget mere og bedre forskning ved at støtte top 50% med mindre bevillinger end ved at støtte top 1% med kæmpe bevillinger

  • 1
  • 0

Som det er nu skal man mange steder publicere for at avancere. "Peer review" systemet er desuden medvirkende til at meget lidt nytænkning trænger igennem og bliver offentliggjort.
Resultatet af dette er beskrevet i artiklen.
En måde at etablere et alternativ ville være at lave et hybrid mellem en bookmaker og et "prediction market".
Altså at man kunne spille på hvilken nyskabende forskningsmæssige landvindinger (og videreudviklinger på basis af dem) man mener stadig vil ligge i top om 1 år - 2 år - 3 år frem i tiden, med progressiv større gevinst for en lille indsats jo længere ude i fremtiden man spiller på.
Lige som utrolig mange følger med i fodboldspilleres og fodboldholds øjeblikkelige styrke eller svagheder, og så spiller på om holdet vinder eller taber, ville det jo være fedt såfremt man kunne udnytte sin faglige specialviden og indsigt til at udpege vindere indenfor forskning - og tjene på det!
Den forskning som ville komme i fokus på den måde, hvor der satses rigtige penge på at udpege den mest lovende forskning, ville i det mindste være et mere dynamisk bud på hvem som burde få offentlig bevågenhed og bevillinger.
Her kunne Statens forskningsråd passende alliere sig med Danske Spil og skabe noget nyt og brugbart.
Hvad dynamikken i ovennævnte angår kan man jo bare skæve til hvorledes penge præmier har speedet udvikling op hvad angår selvkørende biler, robotter "solvogne" o.s.v.

  • 1
  • 0

De her artikler er voldsomt vigtige og har faktisk haft enorm "impact". Hvis folk ikke havde givet sig tid til at udvikle teknikker som dem her ville moderne (biologisk) forskning have været fuldstændig umuligt.
Hvis Lowrys teknik er blevet citeret 300'000 gange så er den blevet brugt afsindigt mange flere gange. Lad os sige at den gør en forsker 2% mere produktiv. Sikkert et lavt bud. 2% af 300'000 er 6000 - så Lowry har leveret lige så meget biokemisk forskning som mindst 6000 forskere ved at lave den smule arbejde som den artikel repræsenterer. Det er sgu da vigtigt.

  • 0
  • 0
Bidrag med din viden – log ind og deltag i debatten