Fel som kan förvränga studiens resultat

Otillförlitliga forskningsresultat är vanligt, och orsakerna är många. Listan på tänkbara felkällor kan göras lång, och att undvika samtliga till hundra procent är knappast möjligt. Men ett gott skydd mot de allvarligaste problemen är en bra början på en välgjord randomiserad studie. Man brukar skilja mellan slumpfel och systematiska fel.

Slumpfel

I studier som bygger på ett litet antal observationer finns det en stor risk att forskningsresultaten har uppkommit av en slump och att de skulle kunna bli helt annorlunda om försöket upprepades.

Slumpfelets storlek beror på antalet observationer. Ju fler observationerna är (till exempel ju fler försöksdeltagarna är), desto mindre slumpfel behöver man befara.

Till kategorin systematiska fel, på engelska bias, räknas fördelningsfel, behandlingsfel, bedömningsfel, bortfallsfel och rapporteringsfel.

Fördelningsfel (engelska: selection bias)

Randomisering innebär att man slumpmässigt fördelar (lottar) deltagarna i en studie till experimentell behandling (försöksgrupp) eller kontrollbehandling (kontrollgrupp). Om studien är tillräckligt stor, är chansen större att alla faktorer som skulle kunna påverka utfallet, utom själva behandlingen, fördelas lika mellan de båda grupperna.

Detta gäller både påverkansfaktorer som redan är kända sedan tidigare och sådana som ännu inte har påvisats i vetenskapliga studier.

Ytterligare ett sätt att försöka uppnå likartad fördelning i de båda grupperna är så kallad stratifierad randomisering. Då utgår man från tänkbara påverkansfaktorer och delar först in försökspersonerna i olika undergrupper (strata) med avseende på dessa faktorer. Först därefter slumpar man vilka i varje undergrupp som ska komma till respektive behandlingsgrupp.

Den slumpmässiga fördelningen av behandlingar inom studien ska inte kunna förutses eller påverkas. Därför brukar lottningen ske med hjälp av koder eller slumptal som har genererats av en dator.

I studier där forskarna inte gör någon randomisering, eller där den genomförs på ett olämpligt  sätt, uppstår fördelningsfel som kan snedvrida resultaten.

Behandlingsfel (engelska: performance bias)

Förväntningar hos dem som leder en behandlingsstudie, analyserar resultatet eller del- tar som försökspersoner kan påverka utfallet. Därför ska ingen känna till vem som tillhör försöks- respektive kontrollgrupp förrän alla mätningar och analyser är klara. Maskeringen av behandling och kontroll kallas blindning.

Behandlingsfel uppstår främst i oblindade studier. Då kan några försöksdeltagare avsiktligt eller oavsiktligt få en annan behandling eller ett annat omhändertagande än avsett, som en följd av att de tillhör försöks- eller kontrollgruppen.

En sådan obalans skulle kunna uppstå exempelvis i ett test av ett nytt diabetesläkemedel där försöksgruppen blir mer sporrad än kontrollgruppen att samtidigt ändra sina kost- och motionsvanor. Grupperna är då inte längre helt jämförbara och resultatet kan snedvridas till nackdel för kontrollgruppen.

I idealfallet ska allt vara lika i båda grupperna utom själva behandlingen.

Bedömningsfel (engelska: detection bias)

Bedömningsfel har att göra med mätning av effekter och bearbetning av resultat. Om detta genomförs på olika sätt i försöks- och kontrollgrupp, i en oblindad studie, finns det risk för bedömningsfel som snedvrider studiens resultat.

Ju större det subjektiva inslaget är i en mätmetod, desto större blir risken för bedömningsfel. Symtomskalor och livskvalitetsmätningar är exempel som ofta medför bedömningsfel i oblindade studier. Risken för bedömningsfel kan vara olika för skilda utfallsmått i en och samma studie.

Bortfallsfel (engelska: attrition bias)

Bortfallsfel uppstår när en viss kategori av försökspersoner inte kan eller vill fullfölja undersökningen. Om bortfallet bland samtliga deltagare är stort eller om det är olika i försöks- och kontrollgruppen snedvrids resultaten. Noggrann uppföljning och analys av bortfallet är viktigt.

Rapporteringsfel (engelska: reporting bias)

Rapporteringsfel uppstår när försöksledare inte redovisar alla resultat från behandlingsstudier, utan bara de önskade fynden. Forskare kan frestas att ”plocka russinen ur kakan”, till exempel genom att enbart presentera positiva behandlingseffekter och utelämna information om effektmått som inte infriade deras förväntningar. Detta resulterar i rapporteringsfel och en vinklad bild av resultaten.

Rapporteringsfel behöver inte betyda att vissa resultat har utelämnats helt. Sådana fel kan också uppstå genom ett ändrat fokus. När försöksledarna ser sina resultat, kanske de ändrar sin bedömning av vilka behandlingseffekter som är allra viktigast. Effektmått som ansågs vara primära när studien planerades kanske ersätts med helt nya mått eller sådana som de tidigare rubricerat som sekundära.

Ett sätt att förebygga rapporteringsfel är att forskarna  i förväg publicerar ett detaljerat forskningsprotokoll, som tydligt anger vad de avser att mäta i första respektive andra hand. [RL]

SE UPP MED BEHANDLINGSSTUDIER DÄR …

• resultaten är preliminära
  Resultat från pilotstudier och preliminära rapporter från pågående studier, till exempel presenterade vid konferenser, kan vara särskilt otillförlitliga.
• antalet försökspersoner är litet
  Ju färre försökspersonerna är i en undersökning, desto osäkrare är resultaten och desto större är risken att missa små men viktiga effekter.
• kontrollgrupp saknas
  Studier som enbart jämför samma patientgrupp före och efter behandling kan sällan visa att förändringen beror på behandlingen. Förbättringar eller försämringar kan ha uppstått av andra skäl.
• kontrollgruppen har fått ineffektiv behandling
  Om kontrollgruppen har fått placebo gäller resultatet just i förhållande till placebo och inte till andra, verksamma metoder. Ska två behandlingar jämföras, måste båda ges i korrekt dos/omfattning.
• randomisering inte har använts
  Om försökspersonerna inte har lottats till försöks- respektive kontrollgrupp är risken större att systematiska olikheter mellan grupperna snedvrider de jämförelser som görs. Men noggrannheten i genomförandet spelar också stor roll. Även andra typer av studier kan ge värdefull kunskap, om de är välgjorda.
• studien gäller ett alltför snävt urval av patienter
  Om försöksdeltagarna har gallrats hårt för att gruppen ska bli enhetlig blir resultaten inte lika allmängiltiga. Å andra sidan, om ingen gallring alls har skett kan behandlingseffekten skymmas av andra faktorer och resultatet bli osäkert. För att få en balanserad bild bör studier med snävt urval kompletteras med studier av grupper som är mindre enhetliga.
• många undergrupper har skapats i efterhand
  Risken finns då att forskarna, i jakten på ett visst resultat, har gjort så många delanalyser att det är slumpen som har åstadkommit ett positivt resultat i en undergrupp av patienter.
• risken för biverkningar inte har analyserats
  Vanliga bieffekter registreras ibland – men inte alltid – i randomiserade studier. Sällsynta men allvarliga biverkningar fångas sällan upp i randomiserade studier. Andra studier krävs.
• många patienter aldrig fullföljde undersökningen
  Om många försöksdeltagare försvinner ur studien blir resultatet osäkert. Orsakerna till bortfall ska analyseras i detalj.
• blindning inte har använts
  Om patienter och/eller vårdgivare hela tiden vet vem som får vilken behandling kan förväntningar påverka utfallet. För att undvika förväntningseffekter bör detta maskeras (blindning).
• uppföljningstiden är för kort
  Uppföljningen måste vara tillräckligt långvarig för att visa om behandlingen har avsedd effekt och om effekten är kvarstående eller bara tillfällig.
• oprövade metoder används för mätning/analys
  Mätmetoder och statistiska metoder som har beskrivits och utprövats vetenskapligt i andra sammanhang bör användas.
• resultatet endast gäller surrogatmått
  Om en behandling syftar till att påverka sjuklighet, dödlighet och livskvalitet, så är det just dessa utfall som behandlingsstudier bör mätas. Men ibland är detta omöjligt eller olämpligt. Då måste de mått som används som ersättning (”surrogat”) ha dokumenterad betydelse för patientens hälsa och livskvalitet.
• resultat enbart anges som procentuell förändring
  En stor förändring i relativa tal – till exempel en 50-procentig riskminskning – låter imponerande men kan vara helt betydelselös om den ursprungliga risken är liten. Även absoluta tal bör anges.

Ovanstående endast är exempel på svagheter i studier som jämför behandlingsmetoder.

Läs mer i SBU:s metodbok