En norsk/svensk unionsmodell för publikationsbaserad medelsfördelning?

Jag vill passa på att tipsa om en skiss för modell för publikationsbaserad medelsfördelning som jag publicerat på bloggen för OpenAccess.se

Så här skriver jag bland annat på OA-bloggen:

Många av de som arbetar med publiceringsfrågorna vid Sveriges universitet och högskolor sitter sannolikt för närvarande och funderar över sitt lärosätes remissvar till ”Flodis-utredningen”: Prestationsbaserad medelstilldelning för universitet och högskolor.

Jag har själv funderat en del kring den i utredningen föreslagna modellen för medelsfördelning baserat på publikationer och vill här lyfta fram ett alternativ till att använda den föreslagna Thomson Reuters Journal Impact Factor (JIF). JIF är ju i bibliometrikerkretsar sedd som en svag indikator på publikationernas faktiska impact i vetenskapssamfundet.

Min alternativa modell baserar sig på en kombination av en norsk kanalnivå-bedömning för publikationer som inte förtecknas i Web of Science och en beräkning av den fältnormerade citeringsgraden för de publikationer som finns med i Web of Science. Dessutom innehåller modellen en komponent med en ”Open Access-bonus” för de publikationer som ligger fritt tillgängliga på internet.

Det bifogade förslaget är i nuläget bara en skisserad modell och mycket återstår att diskutera och testa om den skulle visa sig vara ett reellt alternativ, men jag tycker att det är viktig att visa på att det finns alternativ där man kombinerar det bästa möjliga av de data man har i Web of Science och i SwePub. Det behöver inte vara citeringar rakt över som vi har det i Sverige idag och det behöver inte heller vara kanalnivåer och impactfaktorer rakt över som i den norska modellen.

Du kan ladda ned förslaget som PDF direkt här.

Jag uppmanar till kommentarer och diskussion på OA-bloggen, men det går förstås bra att kommentera här direkt på Metrics-bloggen också.

// Ulf Kronman

Annonser
Det här inlägget postades i Medelsfördelning. Bokmärk permalänken.

12 kommentarer till En norsk/svensk unionsmodell för publikationsbaserad medelsfördelning?

  1. Catharina Rehn skriver:

    Spännande! Förhoppningsvis nappar man på Flodströms förslag att SUHF blir ansvariga för att reda ut vilken modell man vill använda så att det finns möjlighet till bredare diskussioner av det här slaget.

  2. Ulf Kronman skriver:

    Jag kanske ska tillägga att jag inte är helt för en modell där man använder publikationer för direkt medelsfördelning. Bättre vore kanske att använda bibliometri som underlag i en peer-review-process för medelstilldelning, så som det har gjorts vid en del svenska universitet, istället för ren publikations- och citeringsräkning.
    Men OM man vill använda publikationsmetrik direkt för medelsfördelning tycker jag denna modell skulle kunna vara bättre än den som föreslås i utredningen.

  3. Peter Sjögårde skriver:

    Generellt tycker jag att det är ett bra förslag. Dock är det problematiskt att använda citeringssiffror vid medelsfördelning eftersom utvärderingen då inte kan ske förrän ca 3-4 år efter publicering för att få någotsånär stabila siffror. Eftersom citeringskurvan över tid ser olika ut för olika ämnesområden blir värdena stabilare för vissa ämnesområden men mer otillförlitliga för andra.

    • Ulf Kronman skriver:

      Det är ju en helt korrekt invändning. Citeringar mäter ju alltid past performance och citeringsmetriken behöver några år på sig för att bli tolkningsbar. En bedömning av tidskrifternas renommé kan ju göras på alldeles färska publikationer. Möjligen skulle man kunna komplicera modellen genom att mäta via tidskrifternas impact för året nämast mättidpunkten för att sedan mäta citeringar längre bort i tiden.

  4. Leif Eriksson skriver:

    Ett intressant försök att kombinera den norska modellen med citeringsdata men förslaget att alla artiklar i WoS-tidskrifter automatiskt ska få 3 poäng måste ändå få ett (minst!) frågetecken. Det skulle innebära en kraftig inflation av nivå 2-tidskrifter. Norska modellen har ju en automatisk spärr mot mot detta genom att begränsa antalet nivå 2-kanaler till 20% inom ett ämnesområde.
    Dessutom skulle det späda på skillnaderna ytterligare mellan breda och specialiserade universitet genom att tidskrifter från humaniora och samhällsvetenskap är i minoritet i WoS. Det behövs verkligen inte i ett redan från början HS-fientligt utredningsförslag från departementet.

    • Ulf Kronman skriver:

      Men artiklar i WoS-tidskrifter får inte automatiskt 3 poäng i modellen. De får 3 poäng som utgångspunkt, som sedan multipliceras med deras fältnormerade citeringsgrad, vilket innebär noll poäng för 20-30% av artiklarna. Som jag sedan iofs. har föreslagit justeras upp till 1 poäng för att undvika strategisk publicering. Men 3 poäng blir det sannerligen inte per automatik.
      Poäng och vikter går naturligtvis att skruva på om man vill arbeta vidare med modellen. Det går också att stoppa in en bedömning via tidskrifterna för de allra färskaste publikationerna, om man vill.

  5. Leif Eriksson skriver:

    OK, då läste jag ditt förslag lite slarvigt men min poäng i det hela är att peka på svårigheterna att få områden med olika förutsättningar att samsas i en modell. Vi har här i Uppsala en intern modell för fördelning av forskningsmedel mellan vetenskapsområden med blandning av norska modellen samt citeringsdata (Waringvärdet) men vi låter varje vetenskapsområde jämföra sig med sig självt (mot ett ingångsvärde satt 2012) och endast förbättringar/försämringar gentemot detta värde får utslag i omfördelningen. Kanske vore en alternativ väg att gå även på det nationella planet? Det skulle vara mer rättvisande att jämföra varje område för sig och på det sättet också slippa justerande vikter som även detta utredningsförslag förordar.

    • Ulf Kronman skriver:

      Jag har inte sett att Flodisutredningen förordar några områdesvikter för bibliometri-indikatorn. Var står det?
      För övrigt får jag i mitt tänkade alltid lite bekymmer när man börjar diskutera ”rättvisa” i förhållande till en prestationsbaserad medelstilldelning. Var börjar och slutar rättviseaspekterna? En ”medborgarlön” – lika för alla – kan vara rättvis, men så fort man börjar blanda in prestation blir det ju per definition orättvist. Vissa har förutsättningar att åstadkomma mer – andra mindre.
      Sist och slutligen handlar det väl om vad man vill åstadkomma med indikatorn. Är den en rättvis belöning, ett hägrande incitament eller en rent orättvis ackordslön?

      • Leif Eriksson skriver:

        Att inte viktning nämns i samband med bibliometri beror ju på att det inte finns något färdigt förslag för bibliometridelen bara en skrivning att den ska bygga på SwePub och att SUHF ska ges i uppgift att bedöma vilka publikationer som databasen ska innehålla (s. 117-119). I övrigt är det klart att den inte finns någon rättvisa i ett prestationsbaserat system men alla som deltar i det bör ju ändå få samma förutsättningar från början. Att lärosäten med stora delar inom hum-samområdet missgynnas när man blandar in WoS är ju ingen nyhet.

  6. Ulf Kronman skriver:

    Tanken med att lägga till data från SwePub är ju just att ge olika vetenskapsområden lite mer likartade förutsättningar. Sedan kan man ju alltid skruva på vikter och parametrar om förslaget skulle vara något att arbeta vidare på. Frågan är dock vad ”samma förutsättningar” skulle vara. Om man tycker att HumSam missgynnas när man ”blandar in WoS” får man väl blanda in WoS på ett sådant sätt att man inte tycker att det blir så, eller?
    Min grundpoäng är att bara för att vi inte har tillgång till citeringsinformation för några vetenskapsområdens publikationer tycker jag inte att vi ska avstå detta mått på de områden där det ändå har visat sig fungera hyfsat och där vi kanske inte bara vill ha fler publikationer, utan snarare publikationer med mer impact (mätt i form av citeringar).

    • Leif Eriksson skriver:

      Ja, det är det jag menar med att låta varje vetenskapsområde tävla med sig själv. Man kanske inte ska en sammanhållen modell utan låta hum-sam bedömas med en variant av den norska modellen, med-farm med citeringsimpact och tek-nat med en kombination av bägge (med tanke på informationsteknologer, geovetare m fl).

  7. Magnus Eriksson skriver:

    Hej Ulf!
    Det är en intressant modell du lägger fram. Jag fastnade på några frågor du lyfter – bl a kopplingar till lärosäten.
    Jag jobbar som bibliotekarie hos Minso Solutions AB, och vi tillhandahåller det webbaserade ansökningssystemet Researchweb. Systemet används i nuläget i huvudsak för tilldelning av forskningsmedel inom medicin och omvårdnad. I vårt system skapar varje forskare ett eget konto – ett personkort som är själva utgångspunkten i vårt system. I personkortet finns tre delar som är intressanta att ta upp.

    1. I basuppgifterna matas bland annat kön, födelseår och akademisk grad in. Dessa fält är sökbara.

    2. I publikationslistan listar man sina publikationer. Dessa är unika poster i vår publikationsdatabas och man anger vem i författarlistan man är (då personkortsidentifikatorn är ett unikt id-nummer spelar det ingen roll om man bytt namn eller om namnet i författarlistningen är felstavat). Systemet särskiljer första- och sistaförfattare från övriga i listningen. Forskarna har även möjlighet att koppla en publikation till en arbetsplats i vår arbetsplatsdatabas för att t ex ange vilket lärosäte publikationen framställts vid. Våra poster hämtas ur kommersiella databaser, alternativt matas in manuellt om de inte finns i databaser vi har tillgång till. Publikationer som finns hos WoS får citeringsdata presenterad.

    3. I arbetsgivarlistan anger man sina tidigare anställningar. Även arbetsplatserna är poster i en databas. Databasen har formen av en trädstruktur, så att om man gör en utsökning på exempelvis primärvård Skåne län så får man fram alla arbetsplatser som organisatoriskt ligger under primärvården i Skåne län. I sin arbetsgivarlista anger man mellan vilka år ens anställning var. Vi har även tidigare men ej längre existerande arbetsplatser (institutioner som byter namn eller upphör).

    När forskaren sedan skall göra en ansökan så skapar forskaren en ansökan som också blir en post i vår databas. Vi har även en projektdatabas i vilken forskarna matar in sina projekt, och dessa kopplas till personkort hos involverade personer, arbetsplatser i arbetsgivarträdet, och eventuella publikationer projektet lett till, samt att projektet tilldelas MeSH-termer.
    Med hjälp av vårt system har granskarna som tilldelar forskningsmedel möjlighet att ta del av stora mängder information, samt att finansiärerna kan följa upp projekt och ansökningar. Vår projektdatabas är fritt tillgänglig, och vi planerar göra publikationsdatabasen också fritt tillgänglig.

    Vårt system har använts och utvecklats under 10 års tid nu, och vi har nu 16 514 unika aktiva personkort och över 140 000 publikationer, varav flera är unika för vår databas. Min poäng är att en del av det som börjat diskuteras nu efter utredningen är frågor vi redan har lösningar på, och de frågor som finns kvar är mycket intressanta att diskutera.
    _____________________________________________________________________________
    För att testa att söka projekt baserat på MeSH-termer, se http://www.researchweb.org/is/sverige/document/34381
    För att testa att söka projekt baserat på arbetsplats, se http://www.researchweb.org/is/sverige/document/82781

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s