Undvik fallgropar när forskningen sammanfattas

Inom forskningen finns det betydligt fler sätt att göra fel än att göra rätt. Det gäller även sammanställningar av forskningsresultat – systematiska översikter och metaanalyser. Det kan vara bra att känna igen några av de värsta fallgroparna.

Ett gott skydd mot så kallade systematiska fel (på engelska bias) är viktigt för att forskningsresultat ska bli tillförlitliga.

Systematiska fel leder nämligen ofta till att effekten av behandlingsmetoderna överskattas. En dåligt upplagd studie kan till och med få en verkningslös behandling att framstå som effektiv. Det bästa skyddet mot systematiska fel ger de mest tillförlitliga resultaten.

Vid systematisk sammanställning av behandlingsstudier brukar man ange att skyddet hänger samman med bland annat randomisering, blindning, studiens storlek, statistisk metod, eventuell manipulation av uppgifter, validitet, språk och publicering.

1. Randomisering

Randomisering betyder slumpmässig fördelning, lottning, av försökspersonerna till behandlings- respektive kontrollgrupp. Ofta sker randomiseringen med hjälp av en dator.

Randomisering ska skydda mot så kallade urvalsfel (eng selection bias), det vill säga att försökspersoner styrs till endera gruppen på ett sätt som gör jämförelsen missvisande. Genom lottningen har alla försökspersoner samma chans att få en viss behandling.

Det finns många exempel på att icke-randomiserade undersökningar kan snedvrida bilden av behandlingsmetoder. Ett klassiskt exempel är en översikt av forskningen om TENS, en metod för smärtlindring, efter operation. Medan randomiserade studier inte visade någon skillnad mellan TENS och placebo, pekade icke-randomiserade på att TENS var bättre.

Men som tidigare rapporterats i Vetenskap & Praxis, är skillnaderna mellan kontrollerade studier med respektive utan randomisering inte alltid så stora.

2. Blindning

Blindning (eng blinding) betyder maskering. Man hemlighåller vilka deltagare som får den ena eller den andra av de prövade behandlingsformerna. Helst ska gruppindelningen hållas hemlig för både försökspersoner, försöksledare och för dem som värderar effekten.

Blindningen ska skydda mot observationsfel, det vill säga förhindra att förväntningar påverkar behandlingsresultatet. Icke-blindade studier tenderar nämligen att visa större behandlingseffekter.

Ett exempel är en översikt av akupunktur mot ryggont där både blindade och oblindade studier ingick. Enligt de blindade studierna förbättrades 57 procent av patienterna i akupunkturgruppen och 50 procent i kontrollgruppen. I de oblindade studierna var skillnaden mellan grupperna betydligt större: 67 respektive 38 procent.

3. Undvik dubblering

Dubbelpublicering är en felkälla som innebär att samma resultat rapporteras flera gånger i något olika tappning.

Resultaten ser ut att härröra från olika forskargrupper som har studerat olika försökspersoner vid olika tidpunkter och som ändå har nått samma resultat.

Även här finns risken att skillander mellan försöksgrupp och kontrollgrupp överskattas. Rapporterna ger sken av att bekräfta varandra och visa att resultaten är reproducerbara. Men i själva verket handlar det bara om en upprepad rapportering av en och samma undersökning. Särskilt svårt är det att upptäcka att det handlar om samma data från samma patienter när rapporterna har olika författare.

4. Statisktisk styrka

Den statistiska styrkan (eng power) anger hur stor chansen är att en undersökning med rimlig säkerhet ska kunna upptäcka en faktisk skillnad mellan grupperna.

När forskare planerar en ny studie bör de beräkna hur många deltagare som studien behöver för att kunna påvisa en skillnad av en viss storlek. I beräkningen ingår önskad signifikansnivå, resultatens förmodade variabilitet och hur stor skillnaden kan komma att bli (eller hur liten skillnad som är relevant att påvisa).

En undersökning med för litet deltagarantal har för låg styrka (det vill säga är underpowered) och ger alltför osäkra resultat.

Bortfallet, alltså andelen deltagare som av olika skäl inte fullföljer studien, får inte heller vara för stort. Alla patienter som randomiseras ska också tas med i effektberäkningen.

5. Analys

Det finns många sätt att missbruka statistiska metoder. Felen kan vara så enkla som att icke-signifikanta resultat presenteras som statistiskt säkerställda. Statistiska metoder som inte passar frågeställningen kan ha använts. Det kan också handla om ett fiskafänge, där så många tänkbara samband har undersökts att det av rent slumpmässiga skäl uppstår statistiskt säkerställda samband.

Användning av så kallade surrogatmått är ett exempel på att även med korrekt statistik kan resultaten ändå bli missvisande. Ineffektiva behandlingar kan framstå som effektiva om resultaten bygger på mått som inte entydigt speglar sjuklighet, dödlighet eller livskvalitet.

6. Fullständighet

I en systematisk litteraturöversikt räcker det inte med att samla ett antal studier på måfå. Det gäller att hitta så många relevanta undersökningar som möjligt. För att kunna göra det krävs systematisk sökning av den vetenskapliga litteraturen. Det är fortfarande vanligt med osystematiska, berättande översikter. Eftersom det där inte ställs stränga krav på insamlingen av studier, missas ibland viktiga undersökningar.

7. Skepsis

Listan på tänkbara felkällor kan göras lång. Här ges exempel på vanliga fallgropar. Tonvikten på bästa möjliga vetenskapliga underlag och ett skeptiskt förhållningssätt till påstådda behandlingseffekter är en hörnsten i evidensbaserad vård. Det enda riktigt bra skyddet mot otillförlitliga forskningsresultat är att skaffa sig så mycket kunskap att man själv kan sovra bland studierna och skilja agnarna från vetet.