Allt viktigare att kunna läsa kritiskt

Vetenskapliga tidskrifter förväntas granska kvaliteten på sina artiklar. Referentgranskning, peer review, har därför länge varit ett grundkrav för att en tidskrift ska få kallas vetenskaplig.

Att manusen måste nagelfaras är uppenbart, anser Jonas Ranstam, medicinsk statistiker och tidigare adjungerad professor vid Lunds universitet. Han har granskat tusentals artiklar för forskningstidskrifter, och hittar ofta avsevärda problem. Vissa fel är vanliga även i så kallade randomiserade studier, som ibland felaktigt uppfattas som allmänt tillförlitliga. Han ger några exempel.

– Ett vanligt fel är att inte ange vilket utfall i studien som man i första hand har velat undersöka, alltså vilket effektmått som är det primära. Forskare som upptäcker att effekten inte blir som de hade hoppats, kan frestas att i efterhand peka ut ett annat effektmått som primärt – för att få önskat resultat.

– Men det är ett exempel på oredlighet – det är vilseledande och fullkomligt oacceptabelt, säger Jonas Ranstam.

Ett annat fel som han ofta ser är att studierna har för få deltagare.

– Orsaken kan vara att forskarna har överdrivna förväntningar på insatsernas effekt. Att några resultat ändå blir statistiskt signifikanta i alltför små studier kan bero på slumpen.
Ibland anges inte heller hur stor en effekt minst måste vara för att ha reell betydelse – klinisk relevans.

– Avsaknad av en undre gräns för klinisk relevans skapar problem även i stora registerstudier. Där blir problemet i stället att små och ofta ovidkommande skillnader kan uppnå statistisk signifikans.

Ett näraliggande problem är forskares jakt på statistiskt säkerställda skillnader, ofta utan en bakomliggande hypotes.

– Ett sådant fiskafänge på måfå är vetenskapligt riskabelt, förklarar Jonas Ranstam. Man hamnar i det så kallade multiplicitetsproblemet. Ju fler effekter man mäter i en och samma studie, desto större blir risken att statistiskt säkerställda skillnader uppstår rent slumpmässigt.

I randomiserade test, där de insatser som ska jämföras lottas ut till deltagarna, är det viktigt att så länge studien pågår maskera vilken insats som tilldelas vem.
– Annars kan resultaten snedvridas, till exempel för att insatser och mätningar påverkas. Ibland är det oundvikligt att behandlare och deltagare vet. Men de som bedömer effekten ska vara ovetande.

Även om tidskrifterna anlitar expertgranskare som Jonas Ranstam, så är systemet inte vattentätt – långt därifrån. SBU:s och andras utvärderingar visar att referenter släpper igenom en hel del studier som ser vederhäftiga ut vid snabb läsning men som vid närmare granskning visar sig vara mer eller mindre otillförlitliga.

Trots att en betydande andel av inlämnade manus refuseras, särskilt av välrenommerade och flitigt citerade tidskrifter, publiceras det många bristfälliga artiklar. Samtidigt som det läggs både tid och pengar på undersökningar som är så små, kortvariga och bristfälligt upplagda att de inte kan besvara forskarnas egna frågor, saknas det studier som belyser viktiga vardagsnära ämnen.

På senare år har ytterligare problem tillstött. Floran av vetenskapliga special-tidskrifter på nätet har vuxit snabbt. Nätpublikationerna är nya, deras titlar liknar välkända tidskrifters och samtliga påstår sig vara expertgranskade. Även om många håller hög kvalitet, finns det också en del mindre nogräknade aktörer som i praktiken publicerar närapå vad som helst – mot en avgift. Antalet vetenskapliga nättidskrifter som misstänks vara oseriösa – på engelska kallade predatory journals, rovtidskrifter – uppskattades år 2015 till 8000. I år tog de medicinska vetenskapsredaktörernas internationella organisation upp problemet.

Att rovtidskrifter över huvud taget lockar till sig forskare skulle kunna bero på att pressen ofta är hög att publicera nya rön i snabb takt. Chansen att publicera sig kvickt och slippa krav på revideringar kan attrahera oerfarna forskare, skriver redaktörerna. Problemet förstärks om universitet och anslagsgivare lägger större vikt vid antalet artiklar av en forskare än vid kvaliteten på tidskriften där dessa publiceras.

Våren 2017 genomförde tidskriften Nature ett test där en påhittad forskares ansökan om jobb som redaktör skickades till 360 vetenskapliga publikationer. En tredjedel av dessa hade hämtats från en lista över misstänkta rovtidskrifter. Forskarens cv hade utformats så att hon inte alls skulle vara kvalificerad. Redan inom loppet av några få timmar hade vissa tidskrifter accepterat ansökan – vilket till slut 40 av 120 misstänkta rovtidskrifter gjorde, utan några följdfrågor. Även åtta avgiftsfinansierade nätpublikationer som hade ansetts acceptabla gick i fällan, men ingen av de etablerade tidskrifterna.

Rovtidskrifterna representerar en ytterlighet, men brister i granskningen är ändå vanligt. För tre år sedan gjorde tidskriften Science ett test där en fingerad biomedicinsk forskningsartikel med uppenbara brister skickades till 304 vetenskapliga nättidskrifter. Artikeln godkändes för publicering av över hälften av de tidskrifter som kallat sig vetenskapliga – och som påstått sig tillämpa referentgranskning.

Peer review i tidskrifter började tillämpas på 1700-talet men blev regel först under 1900-talet. Systemet har debatterats flitigt, eftersom det har stora brister.

Att läsarna själva måste tänka kritiskt och bedöma resultatens tillförlitlighet och relevans blir allt tydligare. RL

Några grundläggande frågor om studier av insatsers effekt

Representativitet

Har försöksdeltagarna valts ut på ett korrekt sätt? Kan de anses vara typiska för sin grupp? Liknar deltagarna i allt väsentligt den större grupp där kunskapen ska tillämpas?

Forskningsmetod

Har deltagarna delats in i en grupp som får insatsen och en jämförelsegrupp? Lottades deltagarna till dessa grupper? Var grupperna i allt väsentligt likvärdiga när studien påbörjades, frånsett insatsen? Om inte, har forskarna försökt kompensera olikheterna på ett korrekt sätt?

Resultat

Hur intensiv och långvarig var insatsen? Hur stor var insatsens effekt? Jämfört med vad – ett realistiskt alternativ? Hur precis var skattningen av effekten?

Skydd mot snedvridning

Följde studien upp alla deltagare som ingick från början? Var alla deltagare kvar i samma undersökningsgrupp? Hölls deltagare, personal och forskare omedvetna om vilka patienter som fick vilken insats? Frånsett insatsen, behandlades grupperna likvärdigt på alla andra sätt? Finns det någon systematisk översikt av resultat från liknande studier? Har liknande resultat erhållits i dessa andra undersökningar och från andra forskargrupper?

Relevans

Är resultaten tillämpliga i detta sammanhang? Redovisar studien effekter som är direkt relevanta för patienter/brukare (eller bara surrogatmått)? Vad har systematiska översikter som gäller negativa effekter visat? Är insatsens sannolika nytta större än dess potentiella skada? Motiverar detta alla uppoffringar som åtgärden kräver?