Vad är en faktagranskad artikel?

För att en vetenskaplig artikel ska ha någon tyngd, krävs det att den är faktagranskad. Det upplevs ofta som en kvalitetsstämpel eller en garanti för att det som står i artikeln är sant. Men vad innebär egentligen faktagranskad?

På engelska används det mycket tydligare begreppet ”peer review”, ungefär ”granskad av likar”. Det vill säga att artikeln är kontrollerad av kolleger, alltså personer med liknande fördomar, incitament och redan existerande övertygelser som artikelförfattaren har.

I den här artikeln går jag igenom många av de svagheter som finns i systemet med faktagranskade artiklar, med en lång rad exempel på när systemet har missbrukats på olika vis.

Peer review, eller sakkunniggranskning, är en viktig kvalitetskontroll, men innebär ingen garanti för att en studie är korrekt. Systemet fungerar bäst som ett första filter som kan upptäcka tydliga problem, inte som en slutgiltig kvalitetsstämpel. Det här är särskilt viktigt när det gäller forskning på kost och näring, eftersom det ofta handlar om ett i det närmaste oändligt antal parametrar man behöver undersöka.

Granskare kan missa fel

Granskarna arbetar ofta utan ersättning och under tidspress. De kontrollerar sällan rådata eller upprepar experiment och statistiska analyser. Därför kan även allvarliga metodfel, felräkningar och motsägelser passera.

Exempel: PREDIMED-studien om medelhavskost

PREDIMED var en stor studie där 7 447 personer med förhöjd hjärt–kärlrisk fördelades mellan medelhavskost och en kontrollkost. Den ursprungliga artikeln publicerades 2013 i New England Journal of Medicine och fick mycket stort genomslag.

Senare upptäcktes att randomiseringen inte hade genomförts korrekt för alla deltagare:

• vissa familjemedlemmar placerades i samma grupp utan individuell randomisering
• på en klinik tilldelades hela mottagningar en behandling i stället för enskilda deltagare
• vid en annan klinik fanns misstänkta avvikelser från randomiseringstabellerna

Artikeln drogs tillbaka och ersattes 2018 med en ny analys där dessa avvikelser redovisades. Huvudresultatet förändrades inte särskilt mycket, men studien kunde inte längre beskrivas som en fullständigt individuellt randomiserad studie. Felen hade passerat granskningen både av tidigare metodartiklar och av originalrapporten i en av världens mest ansedda tidskrifter. Den korrigerade PREDIMED-artikeln i NEJM

Kontrollerat försök med avsiktligt införda fel

I en studie av BMJ:s granskningssystem lade forskarna in nio större metodfel i manuskript som skickades till granskare. Granskarna upptäckte i genomsnitt bara omkring tre av nio fel. I de tidigare försöken i samma forskningsserie missade granskarna ungefär två tredjedelar av de större felen, och vissa rekommenderade ändå publicering. Schroter med flera, 2008

Bedömningen är subjektiv

Två sakkunniga kan bedöma samma manuskript helt olika. Beslutet påverkas av deras:

• kunskaper och metodologiska kompetens
• teoretiska uppfattningar
• personliga preferenser
• syn på vad som är viktigt eller nyskapande

Vilken tidskrift och vilka granskare ett manuskript råkar få kan därför påverka utfallet betydligt.

Undersökningar av sakkunniggranskning visar generellt relativt låg till måttlig överensstämmelse mellan granskarna. Ett manuskript kan bedömas som viktigt och välgjort av en granskare men som ointressant eller metodologiskt otillräckligt av en annan.

Ett klassiskt experiment illustrerade problemet särskilt tydligt: redan publicerade artiklar skickades på nytt till samma tidskrifter, men med nya, okända författarnamn och mindre prestigefyllda institutioner. De flesta refuserades, ofta på grund av påstådda metodproblem. Experimentet har kritiserats metodologiskt, men visar hur bedömningen kan förändras trots att artikelns innehåll i huvudsak är detsamma.

Det betyder inte att peer review är slumpmässigt, men att det inte fungerar som en standardiserad laboratoriemätning.

Begränsad statistisk kompetens

En ämnesexpert behöver inte vara expert på statistik. Problem som multipla analyser, selektiv rapportering, otillräcklig statistisk styrka, tveksamma bortfallshanteringar eller olämpliga modeller kan förbises. En statistiker medverkar inte alltid i granskningen.

Exempel: Brian Wansinks forskning om ätbeteende

Brian Wansink publicerade uppmärksammade studier om bland annat:

• portionsstorlek
• stora serveringsskålar
• tallriksstorlek
• matinköp vid hunger
• hur miljön påverkar hur mycket människor äter

Efter publiceringen upptäcktes omfattande problem med statistiska analyser, dokumentation, datamängder och reproducerbarhet. Flera analyser tycktes ha genomförts på många olika sätt tills statistiskt signifikanta samband hittades – så kallad p-hacking eller ”datafiske”.

Sex artiklar i JAMA-gruppens tidskrifter drogs tillbaka samma dag 2018. Ytterligare artiklar i andra tidskrifter drogs tillbaka eller korrigerades. Cornell uppgav att tillgängliga originaldata inte räckte för att bekräfta resultatens giltighet.

Fallet är särskilt relevant för näringsforskningen: resultaten var enkla, attraktiva och praktiskt användbara och därför fick de stort genomslag innan den statistiska grunden granskades på djupet. Genomgång av Wansink-fallet och betydelsen av öppna data

Granskarna ser oftast inte rådata

Peer review bygger till stor del på forskarnas egen beskrivning av vad de har gjort. Om data har valts bort, behandlats fel eller manipulerats är detta ofta svårt att upptäcka utan tillgång till rådata, analyskod och ursprungligt studieprotokoll.

Wansink-fallet visar även detta problem. Tidskrifternas granskare hade bedömt tabellerna och forskarnas beskrivningar, men inte självständigt kunnat kontrollera hela råmaterialet. När frågor senare uppstod gick vissa publicerade resultat inte att återskapa.

Exempel: Tamiflu

Publicerade studier och översikter hade gett intrycket att oseltamivir, Tamiflu, kunde minska komplikationer och sjukhusvård vid influensa. Oberoende forskare fick under lång tid inte tillgång till fullständiga kliniska studierapporter.

När Cochrane-forskare så småningom fick tillgång till mer omfattande material blev slutsatserna betydligt försiktigare. Förkortningen av symtom var relativt liten, stödet för minskade allvarliga komplikationer var svagare än det tidigare hade framställts och fler biverkningsuppgifter framkom.

Peer review av de publicerade artiklarna kunde inte ersätta granskning av de fullständiga studierapporterna. Doshi och medarbetare om behovet av kompletta studierapporter

Bedrägerier är svåra att avslöja

Systemet är inte konstruerat som en kriminalteknisk undersökning. Fabricerade data, manipulerade bilder och plagiering kan upptäckas, men mycket passerar. Flera uppmärksammade återkallanden har skett först efter publiceringen, när andra forskare granskat materialet mer ingående.

Exempel: Surgisphere och covid-19

År 2020 publicerade The Lancet en stor observationsstudie om hydroxiklorokin och covid-19. Studien uppgavs bygga på patientdata från hundratals sjukhus och fick omedelbart internationella konsekvenser.

När oberoende forskare ifrågasatte databasens trovärdighet kunde medförfattarna inte få tillgång till data för en oberoende revision. Artikeln drogs tillbaka.

Det var bland annat märkliga patientantal, osannolika demografiska uppgifter och oklar datainsamling som väckte misstankar. Dessa problem hade inte upptäckts före publiceringen.

Fallet visar att en välskriven artikel med avancerade statistiska analyser kan se trovärdig ut om granskarna saknar tillgång till den bakomliggande databasen.

Publiceringsbias

Studier med positiva, dramatiska eller statistiskt signifikanta resultat har ofta lättare att bli publicerade än studier som inte hittar någon effekt. Detta kan ge en skev bild av forskningsläget.

Tio publicerade positiva studier kan exempelvis framstå som övertygande om man inte känner till att ytterligare tjugo negativa studier aldrig publicerades.

Exempel: antidepressiva läkemedel

Turner och medarbetare jämförde den publicerade litteraturen om antidepressiva läkemedel med samtliga studier som hade lämnats till den amerikanska läkemedelsmyndigheten FDA.

I den publicerade litteraturen framstod 94 procent av studierna som positiva. FDA:s bedömningar visade däremot att endast 51 procent av samtliga registrerade studier var positiva.

Negativa studier hade antingen inte publicerats eller skrivits på ett sätt som fick resultaten att framstå som positiva. Den publicerade effekten blev därför större än effekten i hela dokumentationen. Turner med flera, NEJM 2008

Fokus på nyhet framför reproducerbarhet

Tidskrifter premierar gärna oväntade och spektakulära resultat. Replikationsstudier och studier med negativa resultat uppfattas ofta som mindre attraktiva. Det kan leda till att forskningen producerar många intressanta fynd men för få kontroller av om fynden verkligen håller.

Exempel: COMPare-projektet

COMPARE-forskarna jämförde kliniska prövningars förregistrerade utfall med vad som senare rapporterades i artiklar i fem ledande medicinska tidskrifter.

Av 67 undersökta studier innehöll 58 avvikelser. Förhandsbestämda utfall hade utelämnats, medan nya utfall hade lagts till utan tydlig redovisning.

Det är allvarligt eftersom man genom att mäta många variabler nästan alltid kan hitta något statistiskt signifikant. Läsaren får då lätt intrycket att det positiva utfallet var studiens ursprungliga huvudfråga. COMPARE-projektets metodbeskrivning och den vetenskapliga uppföljningen

Konservatism och motstånd mot avvikande idéer

Peer review kan gynna etablerade teorier och metoder. Nya eller tvärvetenskapliga idéer kan ha svårt att accepteras, särskilt om de utmanar inflytelserika forskningsfält. Samtidigt är det viktigt att skilja mellan verkligt nytänkande och påståenden som helt enkelt saknar tillräckliga belägg.

Exempel: uppmärksammade studier som inte kunde reproduceras

I stora replikationsprojekt inom psykologi har många publicerade resultat inte kunnat upprepas, trots att replikationerna planerats tillsammans med de ursprungliga forskarna.

En senare analys fann dessutom att studier som inte kunde reproduceras i genomsnitt citerades mer än studier som kunde reproduceras. En rimlig tolkning är att oväntade och spektakulära resultat både har lättare att väcka redaktionellt intresse och får större spridning.

Detta är relevant för näringsforskning eftersom rubriker som ”en viss mat fördubblar risken” eller ”ett enkelt knep minskar matintaget dramatiskt” är mer publicerbara än små eller uteblivna effekter.

Wansinks studier är ett tydligt närliggande exempel: överraskande och lättkommunicerade resultat om tallrikar, portionsstorlekar och ätmiljö fick mycket större uppmärksamhet än studier som inte fann sådana effekter.

Exempel: Helicobacter pylori och magsår

Robin Warren och Barry Marshall argumenterade i början av 1980-talet för att bakterien Helicobacter pylori kunde orsaka gastrit och magsår. Det stred mot den etablerade uppfattningen att magsår främst berodde på magsyra, stress och livsstil.

Resultaten möttes initialt av betydande skepsis och ibland förlöjligande. Så småningom bekräftades sambandet, antibiotikabehandling blev en etablerad behandling och forskarna fick Nobelpriset 2005. Historisk genomgång av upptäckten

Detta är inte bevis för att varje kontroversiell idé är riktig. De flesta idéer som saknar stöd visar sig inte vara revolutionerande. Fallet visar däremot att en etablerad förklaringsmodell kan påverka hur nya resultat bedöms.

Jäv och konkurrens

Granskare kan arbeta inom samma smala område som författarna och ibland vara deras konkurrenter. Det kan uppstå risk för:

• oskäligt hård behandling av konkurrerande forskning
• fördröjd publicering
• gynnande av den egna teorin eller forskningsinriktningen
• missbruk av opublicerade idéer

Granskare ska anmäla jäv, men det är inte alltid lätt att upptäcka.

Exempel: sockerindustrins finansierade översikt

Interna dokument från sockerindustrin visade att Sugar Research Foundation på 1960-talet finansierade en litteraturöversikt om kost och hjärt–kärlsjukdom.

Översikten publicerades 1967 i New England Journal of Medicine. Finansieringen redovisades inte. En senare historisk analys fann att översikten tonade ned forskning som pekade ut sackaros som riskfaktor och i stället betonade fett och kolesterol.

Industrin hade inte bara gett pengar utan även påverkat forskningsfrågan och tillhandahållit artiklar som skulle granskas. Kearns, Schmidt och Glantz, 2016

Det visar att peer review kan bedöma den färdiga texten utan att känna till hur forskningsfrågan, urvalet av studier och tolkningen har påverkats bakom kulisserna.

Anonymitet kan minska ansvarstagandet

Det finns dokumenterade fall där anonyma granskare har:

• skrivit osakliga eller personliga omdömen
• fördröjt ett konkurrerande manuskript
• använt konfidentiella idéer
• föreslagit ett stort antal irrelevanta självciteringar

Ett särskilt allvarligt dokumenterat fall gällde en granskare som fick ett manuskript genom Annals of Internal Medicine och därefter publicerade en mycket likartad artikel under sitt eget namn. Händelsen ledde till diskussion om stöld av idéer inom biomedicinsk granskning. Översikt över så kallade predatory reviewers

Problemet är svårt att mäta, eftersom både manuskript och granskarnas identitet vanligtvis är konfidentiella.

Anonymitet har både för- och nackdelar

Anonym granskning kan göra det lättare att framföra ärlig kritik, men också minska ansvarstagandet. En anonym granskare kan vara osaklig eller kräva onödiga analyser utan att själv behöva stå för bedömningen.

Vid öppen peer review ökar transparensen, men yngre forskare kan i stället tveka att kritisera inflytelserika personer.

I ett randomiserat experiment skickades samma manuskript till granskare i två versioner. I den ena versionen syntes namnen på välkända forskare och prestigefyllda institutioner; i den andra var identiteten maskerad.

Resultaten tydde på att kännedom om prestigefyllda författare kunde ge fördelaktigare bedömningar. Andra försök, bland annat i BMJ, har inte alltid funnit samma effekt, vilket visar att storleken på problemet varierar mellan tidskrifter och forskningsfält. Randomiserad BMJ-studie av maskerad granskning

Det är därför för starkt att säga att all peer review styrs av prestige. Men det finns empiriskt stöd för att författarnamn och institution ibland kan påverka bedömningen.

Status och institution kan påverka

Författarnas namn, universitet, land, kön eller akademiska rykte kan påverka bedömningen när granskarna känner till identiteten. Dubbelblind granskning kan minska problemet, men inom små forskningsfält går det ofta att gissa vilka författarna är.

Systemet kan manipuleras

Det har förekommit falska granskaridentiteter, organiserade granskningsringar och förslag på rekommenderade granskare som i praktiken kontrollerats av författarna själva. Seriösa förlag försöker motverka detta, men kontrollen varierar.

År 2015 drog BioMed Central tillbaka 43 artiklar sedan förlaget upptäckt manipulerad peer review. Författare eller mellanhänder hade föreslagit granskare med falska eller kontrollerade e-postadresser. De positiva utlåtandena kom alltså inte från de oberoende experter som tidskriften trodde att den hade kontaktat. BMJ:s redogörelse för de 43 återkallade artiklarna

Liknande manipulationer har senare lett till hundratals återkallade artiklar hos flera förlag. Systemet blev särskilt sårbart när tidskrifter rutinmässigt bad författarna föreslå granskare utan att verifiera deras identitet ordentligt.

Rovtidskrifter urholkar begreppet

Vissa tidskrifter tar ut publiceringsavgifter men genomför ingen meningsfull granskning. En artikel kan därför beskrivas som ”peer reviewed” trots att kontrollen varit mycket ytlig eller närmast obefintlig.

Även seriösa open-access-tidskrifter tar publiceringsavgifter, så avgiften i sig visar inte att en tidskrift är oseriös. Frågan är hur redaktion och granskning faktiskt fungerar.

Exempel: John Bohannons falska cancerartikel

Vetenskapsjournalisten John Bohannon skapade en avsiktligt undermålig artikel där ett ämne från lavar påstods kunna hämma cancerceller. Studien innehöll så tydliga och allvarliga metodfel att en kompetent granskare borde ha avvisat den.

Artikeln skickades i olika versioner till 304 avgiftsfinansierade open-access-tidskrifter. Av de tidskrifter som avslutade handläggningen accepterade 157 manuskriptet.

I flera fall hade granskarna påpekat allvarliga fel, men redaktionen accepterade ändå artikeln. Hos andra tycktes ingen verklig vetenskaplig granskning ha genomförts. Bohannon, ”Who’s Afraid of Peer Review?”, Science 2013

Undersökningen omfattade inte ett jämförbart urval av prenumerationstidskrifter och kan därför inte användas som bevis mot open access i allmänhet. Seriösa open-access-tidskrifter har lika rigorös granskning som andra tidskrifter. Studien visade däremot hur lite termen ”peer reviewed” kan betyda hos oseriösa aktörer.

Peer review granskar inte alltid hela kunskapsbilden

Granskarna bedömer normalt ett enskilt manuskript. En studie kan vara tekniskt väl genomförd men ändå ge ett resultat som senare visar sig vara slumpmässigt, överdrivet eller svårt att överföra till verkligheten. Först när flera oberoende studier vägs samman går det att bedöma helheten.

En tekniskt korrekt studie kan ge en missvisande helhetsbild

Inom näringsepidemiologi publiceras många studier där självrapporterad kost kopplas till sjukdom eller dödlighet. En sådan studie kan vara korrekt analyserad men ändå begränsas av:

• felaktiga minnen av vad deltagarna har ätit
• förändrade matvanor under uppföljningen
• kvarvarande socioekonomiska skillnader
• så kallad healthy-user bias. Det innebär att många vill framstå som mer hälsosamma än de är
• många samtidiga jämförelser
• mycket små relativa riskskillnader

Om exempelvis kaffedrickare, köttätare eller personer som använder kosttillskott skiljer sig från jämförelsegruppen på många andra sätt, kan statistisk justering inte säkert avlägsna all sammanblandning.

Peer review kan fastställa att analysen följer accepterade metoder men kan inte omvandla en observationsstudie till ett randomiserat experiment. Det är därför vanligt att flera till synes välgjorda koststudier ger motstridiga resultat.

Statistisk signifikans förväxlas med praktisk betydelse

En stor studie kan upptäcka mycket små skillnader. Ett resultat kan exempelvis visa:

• 0,4 kg större viktminskning
• någon minuts förändring i mättnad
• en minimal förändring av ett laboratorievärde
• en relativ riskökning som motsvarar en mycket liten absolut risk

Resultatet kan vara statistiskt signifikant men sakna märkbar betydelse för individens hälsa.

Detta ses ofta i kost- och viktminskningsstudier där rubriken beskriver en ”signifikant effekt”, medan skillnaden mellan grupperna är liten. Om artikeln fokuserar på p-värdet och inte på effektstorlek, konfidensintervall och absolut risk kan även en peer-review-granskad rapport bli vilseledande.

Peer review betyder inte att …

En peer-review-granskad studie behöver alltså inte vara:

• sann
• reproducerbar
• kliniskt relevant
• fri från intressekonflikter
• tillräckligt stor
• representativ för hela forskningsområdet
• bättre än all forskning som ännu inte publicerats

Det är också viktigt att skilja mellan statistisk signifikans och praktisk betydelse. En mycket liten effekt kan vara statistiskt säker men sakna verklig medicinsk relevans.

Vad bör man undersöka utöver peer review?

När man bedömer en vetenskaplig artikel bör man fråga:

• Var studien förregistrerad?
• Överensstämmer den publicerade analysen med studieprotokollet?
• Hur många personer deltog?
• Fanns kontrollgrupp, randomisering och blindning?
• Hur stort var bortfallet?
• Redovisas effektstorlek och konfidensintervall?
• Har forskarna gjort många analyser men bara rapporterat vissa?
• Är rådata och analyskod tillgängliga?
• Vem finansierade studien?
• Finns relevanta intressekonflikter?
• Har resultatet reproducerats av oberoende forskargrupper?
• Stämmer resultatet med systematiska översikter och metaanalyser?

Ett nödvändigt men otillräckligt system

Trots bristerna är peer review sannolikt bättre än att publicera forskning helt utan oberoende granskning. Systemets värde ökar när det kombineras med förregistrering, öppna data, offentlig analyskod, statistisk expertgranskning, replikationer och möjlighet till fortsatt kritik efter publiceringen.

Ett rimligt sätt att förhålla sig till faktagranskade tudier

• Peer review innebär att några sakkunniga har bedömt att artikeln är tillräckligt genomarbetad för att publiceras, inte att de har bevisat att slutsatserna är sanna.
• Vetenskapens starkaste kvalitetskontroll sker i längden: när resultat diskuteras, granskas på nytt, reproduceras och jämförs med den samlade forskningen.
• Slutsatsen är inte att peer review saknar värde. Slutsatsen är att ”peer reviewed” endast besvarar en begränsad fråga: ett manuskript har genomgått någon form av redaktionell och sakkunnig bedömning. Det säger inte hur noggrann granskningen var, om rådata kontrollerades eller om resultatet senare har reproducerats.
• Den verkligt starka kvalitetsstämpeln är snarare en kombination av oberoende replikation, förregistrerat protokoll, öppna data och analyskoder, rimlig effektstorlek samt överensstämmelse med den samlade forskningen.

Finns det alternativ?

Inte minst inom området kost och näring är det viktigt att, förutom faktagranskade artiklar, ta del erfarenheter och fallstudier. Det studier som publiceras bygger på att ett visst antal personer har uppnått ett specifikt resultat. Det betyder inte att alla människor kommer att få samma resultat. På samma sätt kan man se på praktiska erfarenheter. Bara för att något inte är statistiskt bevisat i publicerade, faktagranskade studier betyder inte att det inte fungerar.

Med andra ord är det minst lika viktigt att ta del av andras beprövade erfarenheter och att tänka själv som att läsa in sig på vetenskapliga studier.

Bo Engborg
Rektor för Nordiskt Näringscenter