Dette indlæg er alene udtryk for skribentens egen holdning.

Tidsskriftsnobberi

1. august 2015 kl. 17:536
Artiklen er ældre end 30 dage

Tidsskrifts "impact factor": En hjælp til biblioteker

I 1927 foreslog Gross og Gross, at man skulle lave en opgørelse over antal citationer i forskellige videnskabelige tidsskrifter, idet biblioteker og bibliotekarer derved kunne få kvalificeret input til, hvilke tidsskrifter man skulle abonnere på. Denne idé blev i 1950erne og starten af 1960erne til, hvad vi i dag kender som tidsskrifts "impact factor" (IF).

Tidsskrifts IF er et tal, der indikerer, hvor mange gange artikler i et givent tidsskrift er blevet citeret. Specifikt er IF i et givent år defineret som antal gange artikler i tidsskriftet udgivet de seneste to år er blevet citeret i indeværende år delt med det totale antal udgivelser i de to seneste år. Dvs. IF kan gøres høj ved, at artikler citeres meget, ved at tidsskriftet udgiver få artikler eller ved en kombination af disse.

Den oprindelige idé med tidsskrifts IF var altså at være en hjælp til biblioteker. Tanken var, at et tidsskrift med en høj IF historisk set ville have indeholdt vigtige opdagelser og resultater, som forskere derfor ville have glæde af adgang til - og som man derfor som bibliotek skulle abonnere på. Med "abonnere på" forstås her betale for at modtage fysiske kopier, som forskere siden kunne bladre i og fotokopiere fra - hvilket i grove træk var situationen indtil starten af 1990erne, hvor digitalisering og internet begyndte at blive allemandseje.

Tidsskrifts "impact factor": Valuta, som forskning og forskere vurderes i

Med tiden blev IF også et kvalitetsmål af tidsskrifter, for jo højere IF, jo flere abonnerende biblioteker, og jo flere af disse, jo flere forskere med adgang til det pågældende tidsskrift. Og jo flere forskere, der læste et givent tidsskrift, jo flere citationer af dette tidsskrifts artikler.

Artiklen fortsætter efter annoncen

I dag er tidsskrifts IF for relevante tidsskrifter noget, som mange forskere går op i og kan citere - både hvad tidsskrifts IF var sidste år, hvad den pt. er og fremskrivning af, hvad den vil være fremover. Kan man ikke de specifikke tal - jeg kan personligt ikke ret mange af dem - så har man som minimum en god idé om, hvilke tidsskrifter der har lave, moderate og høje IFs.

Dette har man, fordi udgivelser i høj-IF tidsskrifter de facto er blevet den valuta, som forskning og forskere vurderes i, f.eks. i forbindelse med forskningsansøgninger, ansættelser o.lign. Dette skyldes givetvis, at ét tal for det enkelte tidsskrift er nemmere at gå til og vurdere end rent faktisk at vurdere arbejdet og udgivelserne.

Sammenhæng mellem tidsskrifts "impact factor og enkeltartikel "impact"?

Med rytmen mellem tidsskrifter, citationer, tidsskrifts IF, abonnementer og biblioteker var det naturligt at forvente en klar sammenhæng mellem tidsskrifts IF og antal citationer af den enkelte artikel i pågældende tidsskrift: Jo højere IF for tidsskriftet, jo flere forskere der havde adgang til og læste arbejdet, ledende til flere citationer af den enkelte artikel.

En sådan sammenhæng viser sig faktisk at eksistere for perioden fra ca. år 1900 og frem til år 1990, ifølge denne undersøgelse fra 2012. Altså der var i denne periode en relativt klar positiv sammenhæng mellem et tidsskrifts IF og det antal gange hver enkelt artikel i tidsskriftet blev citeret. Sidstnævnte - det antal gange hver enkelt artikel citeres - er i et vist omfang et mål for "impact" af den enkelte artikel og dermed af artiklens forfattere (om end der også er blevet stillet spørgsmålstegn ved netop dette).

Artiklen fortsætter efter annoncen

Dette retfærdiggør i nogen grad, at udgivelser i høj-IF tidsskrifter de facto er blevet den valuta, som forskning og forskere vurderes i. Eller mere præcist: Det ville kunne have retfærdiggøres frem til ca. år 1990.

For fra år 1990 og frem til i dag er den positive sammenhæng mellem tidsskrifts IF og det antal gange hver enkelt artikel i tidsskriftet blev citeret blevet stadigt svagere, så den i dag omtrent er på det niveau, den havde i 1970 (se Fig. 1 nedenfor).

Illustration: Privatfoto.

Fig. 1 fra G. A. Lozano et al., "The weakening relationship between the Impact Factor and papers' citations in the digital age"

Dette forklares af forfatterne med den kraftige udbredelse af digitale medier og internet fra ca. år 1990 og frem til i dag. Videnskabelige tidsskrifter og artikler er i dag ikke noget, man bladrer i rent fysisk, men noget, man downloader som PDFer på sin computer. Dermed er adgang til og udbredelsen af forskning - uanset hvilket tidsskrift de udgives i - ikke længere betinget af, hvilke tidsskrifter biblioteker rent fysisk indkøber.

Forklaringen på den stadig ringere sammenhæng mellem tidsskrifts IF og enkeltartikel "impact" er således nem at forstå.

Og ligeså er konsekvenserne af denne udvikling: Det giver stadig mindre og mindre mening at vurdere enkelte forskere på antallet af høj-IF-udgivelser i deres publikationsliste.

Høj-"impact factor"-hysteri

Ovennævnte tal og deres konsekvenser stiller kapløbet til udgivelse af forskning i høj-IF-tidsskrifter i et speget lys, bl.a. når forskere i Kina aflønnes kontant efter tidsskrifts IF.

Udgivelser i lav-IF-tidsskrifter, som citeres ofte, burde faktisk tælle mere end udgivelser med tilsvarende antal citationer, men udgivet i høj-IF-tidsskrifter - fordi førstnævnte ikke har fået det kunstige høj-IF-"bump" af synlighed og markedsføring, som sidstenævnte har.

Så længe forskere belønnes og vurderes ud fra tidsskrifts IF, er det dog givetvis svært at fjerne hysteriet omkring udgivelse af forskning i høj-IF-tidsskrifter. Men i lyset af tallene ovenfor giver det altså mindre og mindre mening.

Og indtil der sker markante ændringer - både blandt forskere, forskningsinstitutioner, udgivere og finansieringsorganer - er der derfor ikke tale om meget andet end snobberi.

Tidsskriftsnobberi.

6 kommentarer.  Hop til debatten
Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
6
5. august 2015 kl. 15:29

Er netop stødt på PLOS ONE, some jeg aldrig har publiceret i (eller læst artikler fra), men som så vidt jeg kan se gør op med impact factor begrebet og de subjektive elementer i review processen.
Se her: <a href="http://journals.plos.org/plosone/s/journal..">http://journals.plos.org/…;
<p>Jeg overvejer selv kraftigt at sende min næste artikel til dem.</p>
<p>Ironisk nok har tidsskriftet en rimelig pæn (i hvert fald inden for mit felt) impact factor på ca. 3.2 :-)

Jeg har, ofte på Twitter, hørt om PLOS ONE, og nu læste jeg netop lidt om tidsskriftet, hvilket bestemt lyder interessant. Det lyder endda som om nogle af de "negative resultater" (http://ing.dk/blog/hvor-skal-man-udgive-sine-negative-forskningsresultater-176865) kan udgives deri, så længe de er grundigt præsenteret og forklaret/diskuteret.

5
5. august 2015 kl. 13:38

Virkelig godt og vigtigt indlæg!

Det er på en måde en krise for menneskeheden som civilisation, at vores incitamentstrukturer er så skævvredne i det system - publikatinossystemet - der skal akkumulere vores ypperste viden. Også hele review processen er efter min mening en forældet og fejlbarlig konstruktion, der ikke hører til i dette århundrede.

Er netop stødt på PLOS ONE, some jeg aldrig har publiceret i (eller læst artikler fra), men som så vidt jeg kan se gør op med impact factor begrebet og de subjektive elementer i review processen. Se her: http://journals.plos.org/plosone/s/journal-information

Jeg overvejer selv kraftigt at sende min næste artikel til dem.

Ironisk nok har tidsskriftet en rimelig pæn (i hvert fald inden for mit felt) impact factor på ca. 3.2 :-)

4
3. august 2015 kl. 11:13

Udover at man ikke præcis kan vurdere mennesker med en enkelt skalar, hverken med IF eller IQ, så findes der bedre videnskabelige mål end IF. At få antaget en artikel i et tidsskrift afhænger selvfølgelig af deterministisk elementer, vigtigheden og kvaliteten af forskningen. Men så sandelig også af betydelige stokastiske elementer. Humøret og evnerne hos de valgte reviewere. Er det en ven eller fjende osv.

Godt pointer, som jeg er meget enig i. Dertil kommer, om ens arbejde er inden for et "hot" forskningsområde, som der pt. er meget fokus på og diskussion omkring, og som (specielt kommercielle) udgivere derfor har stor interesse i at "holde gryden i kog omkring".

Det gør jo ikke mit arbejde bedre at Nobel pris arbejder er publiceret i samme tidsskrift.

God pointe igen. Og som en af forfatterne til undersøgelsen, jeg citerer, udtrykker det (http://blogs.lse.ac.uk/impactofsocialsciences/2012/06/08/demise-impact-factor-relationship-citation-1970s/): "Imagine receiving a $50K reward for a Nature paper that never gets cited!". Udover de uformelle fordele - forfremmelser, fordele ved fondssansøgninger mm. - ved publicering i et høj-IF-tidsskrift som Nature kan man blive konkret, økonomisk belønnet. Også hvis arbejdet aldrig bliver citeret. Det virker absurd.

3
3. august 2015 kl. 07:50

Jeg synes at tiden er løbet fra IF. Målet med bibliometri er at lave en simpel måde at evaluere på.

Udover at man ikke præcis kan vurdere mennesker med en enkelt skalar, hverken med IF eller IQ, så findes der bedre videnskabelige mål end IF. At få antaget en artikel i et tidsskrift afhænger selvfølgelig af deterministisk elementer, vigtigheden og kvaliteten af forskningen. Men så sandelig også af betydelige stokastiske elementer. Humøret og evnerne hos de valgte reviewere. Er det en ven eller fjende osv.

Idag findes der bare bedre måde at vurdere forskning på. Istedet for at vurdere tidsskriftet er det idag simpelt at vurdere det enkelte arbejdes betydning ved at kikke på antallet af citationer. Den enkelte forsker kan ligeledes vurderes udfra sine citationer, nemmest ved hjælp af sin h-faktor. Det er meget bedre end at kikke på tidskrifterne han/hun har publiceret i. Det gør jo ikke mit arbejde bedre at Nobel pris arbejder er publiceret i samme tidsskrift.

H-faktor er langt fra perfekt. Den er ikke følsom nok til unge forskere, men kikker man på en forskers Google scholar side og oppe i hovedet tager hensyn til faktorer som forskerens alder og forskningsområdets størrelse er det nu relativt nemt på 1 minut at lave en rimelig præcis vurdering at den enkelte forsker. Specielt når man også tænker på inherited h-faktor (medlem af en stor forskergruppe hvor man bare kommer med på arbejderne).

Det der er lidt sørgeligt er at det kniber med at komme videre. Det offentlige lever stadig i gammel tid med PURE midlerne som stadigvæk afhænger af tidsskrifternes IF.

2
2. august 2015 kl. 21:26

Endnu en gang et yderst sobert og relevant indlæg, tak for det. Jeg er fuldstændig enig i, at der bør gøres noget revolutionerende indenfor måden forskning bedømmes på. Fordi de nuværende mål, såsom antal udgivelser og IF af journalerne, er simpelthen ikke nok til at bedømme om hvorvidt der produceres god forskning. Jeg er glad for at se at, med de nye generationer der er på vej ind i forskning, tingene så småt er begyndt at ændre sig - eller i hvertfald at holdningerne til disse mål og udgivelsesmetoder (e.g. open access). Jeg er sikker på at forskningen og dens metoder til deling af viden nok skal ændre sig og tilpasse sig den digitale tidsalder. Det kræver dog at os, de nye generationer, råber højt og tager initiativ. Derfor synes jeg at din blog er et vigtigt led i denne udvikling - tak for det.

Tak for de pæne ord, og selv tak!

Og jeg er enig i, at der sker skred mod mere åbenhed og "en demokratisering af videnskaberne", som en af forfatterne til den undersøgelse, jeg citerer, kalder det (http://blogs.lse.ac.uk/impactofsocialsciences/2012/06/08/demise-impact-factor-relationship-citation-1970s/). Ligeledes, som han også er inde på, kan en konsekvens af den ringere betydning af høj IF blive, at tidsskrifter i højere grad må tiltrække god forskning og artikler på anden vis, f.eks. gennem mere service og større åbenhed.

1
2. august 2015 kl. 12:30

Endnu en gang et yderst sobert og relevant indlæg, tak for det. Jeg er fuldstændig enig i, at der bør gøres noget revolutionerende indenfor måden forskning bedømmes på. Fordi de nuværende mål, såsom antal udgivelser og IF af journalerne, er simpelthen ikke nok til at bedømme om hvorvidt der produceres god forskning. Jeg er glad for at se at, med de nye generationer der er på vej ind i forskning, tingene så småt er begyndt at ændre sig - eller i hvertfald at holdningerne til disse mål og udgivelsesmetoder (e.g. open access). Jeg er sikker på at forskningen og dens metoder til deling af viden nok skal ændre sig og tilpasse sig den digitale tidsalder. Det kræver dog at os, de nye generationer, råber højt og tager initiativ. Derfor synes jeg at din blog er et vigtigt led i denne udvikling - tak for det.