Hur liten får en effekt vara?

Forskare är ofta nöjda med att påvisa statistiskt säkerställda skillnader mellan olika åtgärder. Finns det bara tillräcklig evidens för att den ena behandlingen har bättre effekt än den andra, så är saken klar, menar de.

Men kritikerna hävdar att detta krav – att det ska finnas en statistiskt säkerställd skillnad mellan metoderna – är alldeles otillräckligt. Det skiljer inte mellan trivial effekt och värdefull effekt.

– Innan vi drar slutsatsen att den ena åtgärden fungerar bättre än den andra, borde vi ange hur stor skillnaden måste vara för att över huvud taget spela någon roll för patienten – ett slags tröskelvärde. Vi borde ställa frågan: Hur liten är den minsta skillnad som har klinisk betydelse?

Myntade begrepp

För över 20 år sedan myntades begreppet minimal clinically important difference, i dag även kallat smallest worthwhile effect. Detta är den minsta förbättring som patienter uppfattar som gynnsam och som skulle motivera att behandlingsstrategin ändrades – förutsatt att biverkningar och kostnader för den effektivare metoden är acceptabla.

Men det har gått trögt att skifta fokus från statistisk signifikans till klinisk relevans, konstaterar Rob Herbert, docent i fysioterapi och verksam vid forskningsinstitutet Neuroscience Research i Sydney, Australien.

– Trots att problemet har diskuterats i decennier, är det fortfarande vanligt att vi stirrar oss blinda på p-värden och konfidensintervall när vi tolkar forskningsresultat, säger han.

– Många som läser till ­exempel Cochrane-översikter tittar bara på om diagrammet visar att det ena eller andra behandlingsalternativet är bättre. Och det är faktiskt lika ointressant som att enbart ange p-värdet i en enskild studie. De borde titta på skillnadens storlek också, i både absoluta och relativa tal.

Frestande slutsats

– Även om det är frestande, är det förhastat att dra slutsatser om ”vinnare” och ”förlorare” bland behandlingsmetoderna, enbart på basis av statistiskt säkerställda skillnader, måste vi alltid samtidigt fråga oss: Hur mycket bättre eller sämre är respektive metod? och Spelar det någon roll?

Helst skulle varje studie som jämför olika behandlingsmetoder både läggas upp och tolkas med utgångspunkt i sådan kunskap, menar Rob Herbert.

– Det är knappast meningsfullt att ägna resurser åt skillnader som patienterna själva tycker saknar värde.

Vems tröskelvärde?

Tillsammans med kollegan Manuela Ferreira och andra medarbetare har han studerat hur forskare på deras eget område, behandling av ländryggsmärta, har hanterat frågan.

– De flesta experter har byggt på sin egen – och inte på patienternas – uppfattning om lämpliga kliniska tröskelvärden och rimliga uppoffringar för att uppnå dem. Många har till exempel satt likhetstecken mellan ”minsta mätbara effekt” och ”minsta betydelsefulla effekt”. De förutsätter att minsta påvisbara effekt alltid är av intresse, säger Rob Herbert.

– I stället borde det vara patienterna själva som avgör vad som är en rimlig balans mellan å ena sidan chans till förbättring och å andra sidan risk för biverkningar och kostnader.

Det borde vara patienternas värderingar som vägleder valet av behandlingsmetod.

Ständig jakt

Forskarnas ständiga jakt på låga p-värden får också följder för deras fortsatta forskning, menar Rob Herbert. Eftersom experter och patienter kan ha olika uppfattning om värdet av en viss behandlingseffekt, kan de också ha olika åsikter om värdet av att göra ytterligare studier för att förbättra den statistiska säkerheten.

Meningslös fråga

– Många forskare drar reflexmässigt slutsatsen att om vi bara gör ännu en behandlingsstudie som är tillräckligt stor, så kommer vi att kunna förbättra sitautionen för patienterna. Men det är inte alls givet att resultaten av en ny studie, hur stor den än är, någonsin skulle kunna vara till glädje för patienterna.

– I värsta fall ger den bara ett säkrare svar på en ganska meningslös fråga.

Syftet med klinisk forskning är ofta att undanröja osäkerheten om effekten av en åtgärd. Men den riktigt intressanta frågan är om den nya studien minskar osäkerheten om behandlingens värde för patienterna. [RL] 

Lästips

Ferreira ML, et al. A critical review of methods used to determine the smallest worthwhile effect of interventions for low back pain. J Clin Epidemiol 2012;65:253-61.

Ferreira ML, et al. When is a further clinical trial justified? Brit Med J 2012;345:e5913.

Chalmers I, et al. Avoidable waste in the production and reporting of research evidence. Lancet 2009;374:86-9.

Levi R. Ställer forskarna rätt frågor? Vetenskap & praxis nr 3-4/2010: 1-3.