Tio skäl att tänka kritiskt om insatser som påstås effektiva

1. Insatser med ett gott syfte och teoretiskt stöd kan ändå vara ineffektiva eller skadliga
Att en insats är teoretiskt underbyggd betyder inte att den är effektiv. Åtgärder som verkar rimliga i teorin kan, när de utsätts för vetenskaplig prövning, visa sig sakna effekt eller till och med göra mer skada än nytta. Därför är det viktigt att effekten av olika insatser testas och jämförs på ett strukturerat sätt när man utformar rutiner för vården eller socialtjänsten.

Skulle en ny åtgärd införas som är ineffektiv, eller skulle en föråldrad metod behållas, kan detta leda till att människor inte får den hjälp de behöver eller att de i värsta fall utsätts för skada. Dessutom innebär det slöseri med begränsade resurser, och att man inte har råd med annat som bevisligen skulle göra nytta.

2. Enstaka fall räcker inte för att bedöma det allmänna värdet av en åtgärd
När någons hälsa eller livssituation blir bättre efter en viss insats tolkar man det gärna som insatsens förtjänst. Men ibland har förbättringen andra orsaker, till exempel positiva förväntningar, spontan variation av ett tillstånd som förlöper i skov eller andra samtidiga omständigheter som förbättrats.

För att kunna bedöma sannolikheten för att en åtgärd ska göra nytta vid ett visst tillstånd krävs vetenskapliga prövningar där många individer ingår. Enstaka lyckade fall håller sällan som bevis för att en metod bör införas som rutin. Det är långt ifrån säkert att andra människor som får samma insats reagerar likadant.

3. Metoder behöver inte vara effektiva och säkra bara för att de är i allmänt bruk
En metod som används flitigt eller har funnits länge förutsätts ofta vara bra. Men att en metod är inarbetad och populär betyder inte att den är effektiv. Inom medicinen finns det många exempel på ineffektiva eller direkt skadliga metoder som har använts i årtionden – eller till och med i århundraden – i tron att de fungerar. Många gånger har praxis utgått från mer eller mindre trovärdiga teorier om varför metoderna skulle fungera (se punkt 1). Inte förrän dessa har testats i vetenskapliga prövningar som har vägts samman och utvärderats på ett systematiskt sätt, har man insett att vissa faktiskt är verkningslösa och dessutom innebär risker.

4. Metoder som är nya behöver inte vara bättre än befintliga alternativ
Nya metoder väcker ofta förhoppningar. Men när en metod är ny har man inte hunnit undersöka dess långtidseffekt, och riskerna kanske inte har observerats. De vetenskapliga prövningar som finns kanske inte har jämfört med bästa tillgängliga alternativ utan med betydligt sämre metoder eller ingen åtgärd alls, för att fastslå att den nya metoden åtminstone har någon grad av effekt.

Kravet på vetenskapliga belägg bör åligga dem som förespråkar en viss metod. Eftersom beslut om att införa eller ta bort olika rutiner i en verksamhet alltid innebär en balansgång mellan nytta och risker, behövs det välgjorda studier som visar hur den balansen ser ut, i olika kategorier av patienter eller brukare.

5. Experters åsikter om olika metoder är ibland dåligt underbyggda och ensidiga
Åsikterna om värdet av en insats går inte sällan isär bland experterna på ett område. Personer som har egenintresse av att främja en viss metod kan – medvetet eller omedvetet – överdriva fördelarna och underskatta nackdelarna, medan deras meningsmotståndare tenderar att betona riskerna och bortse från nyttan. Även om såväl metodens förespråkare som dess kritiker hänvisar till forskningsresultat kan tolkningen av resultaten vara ensidig.

Välunderbyggda beslut kräver systematisk och allsidig genomgång av den vetenskapliga bevisningen.

6. Studier som jämför effekterna av olika metoder gör inte alltid adekvata jämförelser
I vetenskapliga studier som undersöker om en viss åtgärd fungerar bra eller dåligt i en försöksgrupp behöver man en annan grupp att jämföra med. Om det saknas en jämförelsegrupp är det ofta svårt att veta hur försöksdeltagarnas situation hade sett ut utan åtgärden.

Jämförelsen måste vara så rättvisande som möjligt – det är viktigt att risken för systematiska fel minimeras. Om kontrollgruppen avviker från försöksgruppen på andra sätt än just i fråga om insatsen blir det svårt att tolka eventuella skillnader mellan grupperna. Allt utom själva åtgärden bör därför vara så lika som möjligt, även uppföljning och mätmetoder. Välgjorda randomiserade studier, där lottning fått avgöra vilka deltagare som tillhör försöks- respektive kontrollgrupp, kan ge ett gott skydd mot systematiska fel.

Urvalet av försöksdeltagare bör också vara representativt för den kategori av patienter eller brukare som frågan gäller.

7. Ett så kallat p-värde säger inget om betydelsen av ett forskningsresultat
Ett så kallat p-värde i en effektstudie anger sannolikheten för att en observerad skillnad i effekt mellan grupperna har uppkommit genom slumpens verkan, trots att det inte finns någon skillnad. Ett p-värde på 0,05 betyder att denna sannolikhet endast är 5 procent. När p-värdet är så pass lågt eller lägre brukar man säga att skillnaden är statistiskt säkerställd på 5-procentsnivån, eller ”statistiskt signifikant”.

Ibland tillmäts statistiskt signifikanta resultat överdriven betydelse. Att en skillnad är statistiskt signifikant behöver inte alls innebära att den är betydelsefull för patienter eller brukare. Frånvaro av en signifikant skillnad måste inte heller betyda att de metoder som jämförs är likvärdiga. Skälet kan vara att studien är för liten för att påvisa en liten men bedtydelsefull skillnad.

8. En studie är ingen studie
Nya forskningsresultat bör alltid tolkas mot bakgrund av tidigare fynd (inom medicinen även mot bakgrund av laboratoriestudier och djurmodeller), gärna från andra forskargrupper.Resultat som återkommer i flera studier, oberoende av forskare och undersökningsgrupp, är mer tillförlitliga än fynd från en enstaka studie. En tumregel kan vara att en studie är ingen studie.

Inte bara forskningsresultat utan också kunskapsluckor måste tas med en nypa salt. Att det råder brist på studier som visar att en åtgärd är effektiv, betyder inte nödvändigtvis att den är ineffektiv – däremot är det ofta en varningssignal om att kunskapsläget är osäkert.

9. Överdrivna förväntningar på en insats kan leda fel och göra skada
Alltför höga förväntningar på en metod kan leda till felsatsningar och orsaka skada. Forskare som tror på metoden och som räknar med att se dramatiska effekter lägger ofta upp alltför små studier. Då ökar risken för missvisande resultat, eftersom slumpen har större spelrum i små studier. Ju fler försöksdeltagare, desto säkrare blir bedömningen – på gruppnivå.

När en effektstudie planeras måste forskarna kunna besvara frågor som: Hur liten är den minsta skillnad som har betydelse för en patient eller brukare? Hur många försöksdeltagare måste ingå för att det ska gå att påvisa en sådan skillnad? Då kan forskarna beräkna hur många försökspersoner som krävs i en studie för att kunna upptäcka och statistiskt säkerställa ett resultat av en viss storlek.

Överdrivna förväntningar på långtidseffekter kan också leda till alltför kort uppföljningstid i studierna. För personer med långvariga problem kan det spela stor roll om effekten av insatsen är kvarstående eller bara tillfällig.

10. Välgjorda studier kan bli otillförlitliga om många försöksdeltagare avbryter
När en viss kategori av försökspersoner inte kan eller vill fullfölja sitt deltagande i en forskningsstudie uppstår ett så kallat bortfall, något som förekommer i nästan alla effektstudier. Även om en studie är välgjord, kan bortfall som är alltför stora eller som är olika i försöks- och kontrollgruppen göra resultatet otillförlitligt.

Avbrott i förtid kan givetvis bero på sådant som inte har med själva insatsen att göra, men skälet kan också vara att åtgärden inte fungerar eller att den har negativa effekter. Det kan även finnas andra betydelsefulla skillnader mellan deltagare som fullföljer hela studien och dem som inte gör det. Då snedvrids resultatet.