Dette indlæg er alene udtryk for skribentens egen holdning.

The San Francisco Declaration on Research Assessment

21. maj 2013 kl. 22:176
Artiklen er ældre end 30 dage

I den akademiske verden er der stort fokus på publicering af videnskabeligt arbejde, hvilket som oftest finder sted i videnskabelige artikler i tidsskrifter med peer review. Det meste ny viden og resultater fra universiteter og forskningsinstitutioner ser dagens lys via denne kanal, og derpå bliver en del af de publicerede resultater f.eks. omsat til ny teknologi eller lærebøger inden for nye fagområder. Der er således i den akademiske verden ekstremt fokus på de videnskabelige artikler, samt hvilke tidsskrifter de kan publiceres i, og antallet af publicerede artikler, antal citationer af publicerede artikler samt rangeringen af de tidsskrifter, man har publiceret i, udgør de facto målestokken for kvaliteten af ens forskning.

Vurderingen af ens forskning handler om prestige og anerkendelse for arbejdet, men også på længere sigt om finansieringen af ens aktiviteter; med jævne mellemrum har forskere brug for bevillinger til at holde laboratorier kørende, indkøbe udstyr samt til at ansætte ph.d.-studerende og postdocs. Og succesen for bevillingsansøgninger står, udover en interessant problemstilling med de rette perspektiver, langt hen ad vejen og falder med listen af publikationer. Så derfor kan man naturligvis ikke fortænke mig selv og andre ph.d.-studerende, og forskere i det hele taget, i at jagte udgivelse i højprofilerede tidsskrifter - som den fremtidige karriere i det akademiske kan være afhængig af!

Men er dette system befordrende for forskningen, udbredelsen af forskningen samt konverteringen af de forskningsmæssige resultater til nytte og gavn for samfundet? Det mener initiativtagerne og underskriverne af The San Francisco Declaration on Research Assessment ikke. Erklæringen (som kan læses i sin fulde længde her) indlæses med følgende:

"There is a pressing need to improve the ways in which the output of scientific research is evaluated by funding agencies, academic institutions, and other parties"

Artiklen fortsætter efter annoncen

Erklæringen kritiserer specielt The Journal Impact Factor, der måler, hvor citeret artiklerne i et givent tidsskrift har været de seneste to år. Denne størrelse blev oprindeligt introduceret for at hjælpe bibliotekarer med at træffe beslutning om, hvilke tidsskrifter som skulle indkøbes - men er siden, fejlagtigt ifølge erklæringen, blevet gjort til et mål for den videnskabelige vigtighed og tyngde af artikler i det pågældende tidsskrift.

Dette kender jeg særdeles godt fra min hverdag i det akademiske: Artikler publiceret i Nature Photonics er finere og mere prestigefyldte end dem i Physical Review Letters - som igen er mere ansete end dem, som er publiceret i Optics Letters. Udgivelse i Optics Letters er glimrende, men dem i Physical Review Letters giver lidt flere anerkendende nik fra kollegerne. Og endnu flere og mere tydelige nik, når ("hvis" er vist mere på sin plads) man udgiver arbejde i Nature Photonics.

Og hvad skyldes det? Det skyldes, kan man håbe, at der udgives mere vigtig forskning i Nature Photonics end i Physical Review Letters - hvori der udgives vigtigere forskning end i Optics Letters. En alternativ forklaring er, at Nature Photonics har en højere Journal Impact Factor (29.278) end Physical Review Letters (7.37), som har en højere Journal Impact Factor end Optics Letters (3.399). En hybridforklaring kunne være, at Nature Photonics har en højere Journal Impact Factor, fordi der publiceres vigtigere forskningsresultater deri, hvilket leder til flere citationer.

Men den sidste forklaring holder ikke nødvendigvis; ifølge erklæringen findes der måder for tidsskrifter til kunstigt at øge deres Journal Impact Factor. Bl.a. modtager oversigtsartikler (Review articles) generelt mange citationer, selvom de primært danner overblik og refererer til tidligere udgivet arbejde, og man kan således øge sin Journal Impact Factor ved at øge antallet af oversigtsartikler.

Som jeg tidligere har skrevet om, er der visse aspekter omkring publicering i videnskabelige tidsskrifter, som formentlig trænger til en modernisering. Dette samme gør sig gældende for de systemer, hvori forskning og forskningsresultater vurderes og anvendes, og The San Francisco Declaration on Research Assessment er i den kontekst et interessant initiativ - som alle forskere i øvrigt opfordres til at underskrive.

6 kommentarer.  Hop til debatten
Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
4
22. maj 2013 kl. 23:17

Der er dog kommet en del andre måder at ranke tidskrifter på. Den bedste jeg er faldet over er SJR:
<a href="http://www.scimagojr.com/journalrank.php">http://www.scimagojr.com/jour…;
<p>Rankingen af tidskrifterne er laved ca. samme måde som Google's pagerank algoritme. Så vidt
jeg kan se det, så virker det faktisk ... dvs. når jeg kigger på rankingen på mit eget
forskingsområde (Operations Analyse), så passer rankingen meget fint med den
kvalitative vurdering vi forskere har af vores journaler. Jeg kan kun opfodre forskere
til at prøve denne ranking og se om den matcher deres vurdering.

Interessant med en algoritme som den, Google bruger; den kan ikke være helt ineffektiv!:-)

Inden for mit område (fysik) såvel som det mere specifikke område (optik og fotonik) er der også fin overensstemmelse mellem disse rangeringer og min umiddelbare tanker om de forskellige tidsskrifter.

Men det er der også i listen med de omtalte Journal Impact Factors, så spørgsmålet er, om disse rangeringer er gode mål til at vurdere, hvor dygtig en forsker er og har været i sin karriere. Pointen med erklæringen er i hvert fald, at disse "metrics" skal suppleres med andre bidrag til forskningen - f.eks. når man skal ansættes, eller når der skal uddeles fondsmidler.

3
22. maj 2013 kl. 23:07

Du nævner dette interessante initiativ, men du nævner ikke mange kritikpunkter.
Er der nogen?
Hvad er din egen mening? Den synes jeg ikke fremstår helt tydeligt...

Overordnet synes jeg, at det er et godt initiativ, som falder fint i tråd med andre bevægelser inden for publicering af forskning i den akademiske verden - bl.a. med udbredelsen af Open Access tidsskrifter. Skiftet fra tidsskrifter printet på papir til videnskabelige artikler, som stort set kun eksisterer som PDFer på hjemmesider, er ikke rigtigt slået igennem i måden, tidsskrifterne forvalter udgivelse af forskning - og jeg tror derfor på en del større ændringer inden for de næste 5-10 år.

I erklæringen, jeg omtalte i indlægget, er der meget fokus på Journal Impact Factor, og det gør det en smule ensidigt; man kunne også kigge på andre tilsvarende kvantitative mål og overveje, om de bidrager til god forskning og til at forskning omsættes til viden og til gavn for samfundet.

Omvendt er der således fokus på én specifik ting, nemlig målestokken for tidsskrifter og hvordan denne påvirker alle processer i det akademiske, hvilket gør det konkret.

Hvad synes du selv?

2
22. maj 2013 kl. 09:08

Glimrende artikel.

Der er dog kommet en del andre måder at ranke tidskrifter på. Den bedste jeg er faldet over er SJR:http://www.scimagojr.com/journalrank.php

Rankingen af tidskrifterne er laved ca. samme måde som Google's pagerank algoritme. Så vidt jeg kan se det, så virker det faktisk ... dvs. når jeg kigger på rankingen på mit eget forskingsområde (Operations Analyse), så passer rankingen meget fint med den kvalitative vurdering vi forskere har af vores journaler. Jeg kan kun opfodre forskere til at prøve denne ranking og se om den matcher deres vurdering.

Hvad med dit område Jakob.

Og jo, jeg er godt klar over at dit skrive ikke kun handler om ligegyldigheden af citations ranking ...

Mvh. Thomas Stidsen

1
22. maj 2013 kl. 08:10

Du nævner dette interessante initiativ, men du nævner ikke mange kritikpunkter. Er der nogen? Hvad er din egen mening? Den synes jeg ikke fremstår helt tydeligt...