Även det lovande bör ifrågasättas

En lärdom som kan dras inom nästan alla områden som SBU utvärderar är att man måste förhålla sig kritisk till nya forskningsrön. Många studier av hälsorisker och behandlingsmetoder drar alldeles för stora växlar på ett fåtal observationer och ett svagt underlag. Forskarnas slutsatser saknar täckning i deras eget material, och nya studier läggs upp på ett sätt som är anpassat för att bekräfta den egna forskargruppens tidigare hypoteser.

En av de hårdaste kritikerna är John Ioannidis, professor i hälso- och sjukvårdsforskning vid Stanford School of Medicine, USA. Han går så långt att han hävdar att majoriteten av alla publicerade fynd inom biomedicinen är felaktiga. Det gäller såväl i modern molekylärmedicinsk forskning  som i kliniska studier och epidemiologiska undersökningar.

Missvisande

I en ofta citerad artikel i tidskriften PLoS Medicine beskriver John Ioannidis varför missvisande slutsatser är vanligare när studierna är små, när den påvisade effekten är liten och när enstaka statistiska kopplingar uppträder bland en stor mängd variabler där olika samband eftersöks.

Med hjälp av statistiska simuleringar visar han vad som händer när man drar slutsatser på grundval av enstaka studier och enbart beaktar deras statistiska signifikans (t ex ett så kallat p-värde under 0,05). Liksom många andra, framhåller han att enbart signifikans inte innebär att ett resultat är korrekt.

Sannolikheten att ett fynd är riktigt beror också på forskningsområdets karaktär och undersökningens statistiska styrka (eng power), det vill säga om studien är tillräckligt stor för sitt ändamål, eller inte. Den statistiska styrkan anger hur stor chansen är att en undersökning med rimlig säkerhet ska kunna upptäcka en skillnad mellan grupper som jämförs.

När forskare planerar en ny studie bör de beräkna hur många deltagare som studien behöver för att kunna påvisa en skillnad av en viss storlek. I beräkningen ska ingå önskad signifikansnivå, resultatens förmodade variabilitet och hur stor skillnaden kan komma att bli – eller hur liten skillnad som är relevant att påvisa.

En undersökning med för litet deltagarantal har för låg statistisk styrka och ger alltför osäkra resultat. Ju större en effekt är, desto färre deltagare behövs i studien för att uppnå tillräcklig statistisk styrka.

Heta områden

På nya och heta forskningsområden, till exempel genforskning, inbjuder ämnet till en rik flora av hypoteser. När bara en bråkdel av dem är riktiga, och när effekten av varje enskild genetisk faktor är liten, är risken för felaktiga slutsatser stor, menar John Ioannidis.

Risken för fel är också större på forskningsområden där det finns stort utrymme att variera upplägg, definitioner, effektmått och analysmetoder, och där det finns betydande kommersiella eller andra särintressen.

Vrider snett

Snedvridningar kan uppstå  – avsiktligt eller oavsiktligt – när studier läggs upp, genomförs och avrapporteras, det vill säga när man väljer försöksdeltagare och hanterar borfallet, liksom när man samlar in data och gör analyser. John Ioannidis påpekar att felaktigheter i studiernas upplägg kan ge upphov till skenbara samband och effekter som upphöjs till fakta.

Urvalsfel innebär att försökspersonerna har valts på ett sätt som inte är representativt för den grupp som man vill dra slutsatser om. Sådana fel undviks bäst genom att deltagarna lottas fram ur gruppen.

Bortfall

Bortfallsfel, till exempel, uppstår när en viss kategori av försökspersoner inte kan eller vill delta i hela undersökningen, något som kan förvränga undersökningsresultatet. Noggrann uppföljning och analys av bortfallet är viktigt. Om bortfallet är alltför stort, kan man inte dra generella slutsatser.

Observationsfel härrör från själva insamlandet av data. Helst ska både försökspersoner och försöksledare vara omedvetna om vilka deltagare som tillhör experiment- respektive kontrollgrupp, annars kan förväntningseffekter påverka resultatet.

Analysfel uppstår när forskarna inte analyserar samtliga faktorer som kan tänkas påverka resultatet, utan bara vissa.

Effektmåtten i en studie måste också väljas så att de avspeglar sådant som verkligen är viktigt för patienterna – dödlighet, sjuklighet och livskvalitet. Många kliniska studier inriktas i stället på så kallade surrogatmått, till exempel ett laboratorievärde vars innebörd för människors hälsa är högst oklar.

Udda metoder

I andra undersökningar används udda, hemsnickrade mätmetoder. Det kan vara skattningsskalor som inte har utprövats tillräckligt eller sammanslagna effektmått, där inte alla ingående delar är väsentliga och där effekten på de viktigaste delarna i själva verket är sämst.

På forskningsområden med starka ekonomiska och andra särintressen är risken större för missvisande forskningsresultat. Inom biomedicinen uppstår ofta konflikter mellan å ena sidan forskarnas eller finansiärernas egenintressen, och å andra sidan vetenskapens krav på objektivitet.

Men det handlar inte bara om ekonomiska fördelar. Förutfattade meningar och jakten på makt och status inom forskarvärlden kan leda till snedvridna resultat och tolkningar.

Situationen kan förvärras om varje forskarlag bara ägnar sig åt att försöka bekräfta sin egen favorithypotes. I stället för att testa om det första fyndet verkligen håller, genomför och publicerar de små och vinklade studier som ska stärka deras nya hypotes.

När rönen publiceras i någon ansedd tidskrift och får hög status, ser andra forskare ett egenintresse i att kullkasta konkurrenternas hypotes, och vinklar studierna åt motsatt håll. En sådan kunskapsutveckling blir ineffektiv, och tidskrifterna fylls av extrema hypoteser och små missvisande studier. Enligt John -Ioannidis förekommer detta bland annat i molekylärgenetisk forskning.

Sammantaget hävdar han att de flesta vetenskapliga studier inom medicinen är för små eller dåligt upplagda, och att de flesta forskningsresultat som publiceras är överdrivna eller missvisande.

Även om läget inte skulle vara fullt så allvarligt, finns det starka skäl att tänka kritiskt när lovande forskningsrön ska omsättas i praktisk sjukvård.

Det är av samma skäl som SBU inte tillmäter enstaka små studier så stor vikt, utan ofta lägger tonvikten vid det samlade kunskapsläget. [RL]

Forskning slår oftar fel när:

... studierna är små
... de förväntade effekterna är små
... väldigt många hypoteser är tänkbara men bara ett fåtal undersöks
... möjligheterna är stora att variera studiernas upplägg, definitioner, effektmått och analysmetoder
... det finns starka ekonomiska och andra särintressen eller dogmer på området
... många forskarteam försöker bekräfta sin egen hypotes

Lästips

Ioannidis JP. Why Most Published Research Findings Are False. PLoS Med 2005;2: e124. doi:10.1371/ journal.pmed.0020124

Ioannidis JP. Why most discovered true associations are inflated. Epidemiology 2008;19:640-8.

Cordoba G, et al. Definition, reporting, and interpretation of composite outcomes in clinical trials: systematic review. BMJ 2010;341:c3920.

SBU. Utvärdering av metoder i hälso- och sjukvården: En handbok. Version 2013-05-16 Stockholm: Statens beredning för medicinsk utvärdering (SBU). Hämtad från SBU:s metodhandbok 2014-02-01.