Utvärdering vaskar guldet ur en flod av forskningsresultat

Varje år publiceras ett par miljoner vetenskapliga artiklar i tiotusentals biomedicinska tidskrifter världen över.

Är det över huvud taget möjligt att dra några slutsatser av en sådan flod av rapporter som är av skiftande kvalitet, från olika miljöer och olika tidpunkter, och vilkas resultat dessutom kan vara motstridiga?

Svaret är ja. Nyckelordet är systematik. Det behövs översikter och sammanställningar som systematiskt gallrar, bedömer och smälter materialet.

Utan struktur och noggrannhet blir översiktens slutsatser otillförlitliga. Urvalet av studier och tolkningen av deras resultat får inte ske godtyckligt och ovetenskapligt. Men hur går det till att göra en systematisk kunskapsöversikt?

– Första steget är att upprätta ett protokoll, ett slags körschema, berättar Bengt Brorsson, docent och projektsamordnare på SBU.

– Protokollet får i princip inte ändras under arbetets gång. Då ökar risken att man medvetet eller omedvetet påverkar resultatet. Protokollet ska redovisa syftet med översikten och en tydligt avgränsad frågeställning som anger vilka personer, vilka åtgärder och vilka utfall som avses.

De metoder som man använder för att söka, sovra och kvalitetsbedöma den vetenskapliga litteraturen ska också redovisas för läsaren, liksom metoden för att analysera och sammanställa resultaten, till exempel statistisk metod.

Nästa steg är att söka efter de relevanta studierna.

Söker i databaser

– Sökningen måste vara så fullständig som möjligt, fortsätter Bengt Brorsson. Så många tänkbart relevanta studier som möjligt ska ingå i granskningen.

Sökningen av tidskriftsartiklar sker till exempel i databaser och via referenslistor från de viktigaste artiklarna.

– Myndighetsrapporter, konferensrapporter och annan så kallad "grå" litteratur, som inte finns i de vanliga databaserna, kan behöva sökas på annat sätt. Till exempel kan man behöva ta personlig kontakt med berörda experter.

– I vissa fall spårar vi även opublicerade studier. Skälet är att en del välgjorda studier aldrig kommer i tryck bara för att de uppvisar "negativa" resultat.

Översikter som endast omfattar publicerade arbeten löper därför risk att överskatta resultatet av en viss åtgärd.

– Efter litteratursökningen måste materialet avgränsas enligt de urvalskriterier som finns i protokollet. Man tar bara med artiklar som uppfyller de förutbestämda kraven.

När alla relevanta studier har gallrats fram bedöms deras vetenskapliga kvalitet.

Kvalitet är skydd mot fel

– Kvalitet betyder i det här sammanhanget skydd mot felkällor. Studierna kan läggas upp och genomföras med olika grad av säkerhet. Ju bättre skydd desto högre vetenskaplig kvalitet.

Skyddet gäller två typer av dolda fel: systematiska fel och slumpfel (se faktaruta). Forskningsresultat med ett gott skydd mot felkällor tillmäts större betydelse i sammanvägningen än sådana som har ett dåligt skydd.

Vidare bedöms varje studies generaliserbarhet – i vilken utsträckning som slutsatserna är giltiga i andra sammanhang. Samma åtgärd hos samma typ av patienter bör ge samma effekt.

Bedömningen av vetenskaplig kvalitet kan exempelvis ske genom poängsättning på strukturerade formulär.

Viktiga fördelar

När alla relevanta aspekter som rör tillförlitlighet har bedömts, ska materialet sammanställas och analyseras. Sammanvägningen kan ske med hjälp av en statistisk metod som kallas metaanalys. Metoden har flera viktiga fördelar men är inte alltid möjlig eller lämplig att använda.

– Den viktigaste fördelen är nog systematiken, att metaanalys gör en metodisk sammanvägning av alla forskningsresultat, vilka ges olika tyngd allt efter mätbar precision. Den vetenskapliga kvaliteten kan också vägas in.

Tar till vara resultat

– Dessutom kan metaanalys ta till vara resultaten från många små randomiserade kliniska studier som var för sig inte har gett några tydliga svar. När studierna läggs ihop kan man se ett mönster.

Nackdelen med meta-analys är främst att inte bara resultaten, utan också de systematiska felen, adderas.

– Om samma lilla fel återkommer i flera studier kan det sammantaget bli ett större fel – med risk för ett missvisande resultat, säger Bengt Brorsson. Sifferexercisen i metaanalys ger ett sken av sanning som inte alltid stämmer. En annan nackdel är att metoden är relativt tidskrävande och omständlig.

Innan man kombinerar skilda studier med varandra i en översikt, bör man kontrollera om resultaten är mer olika än vad slumpen skulle kunna åstadkomma.

Vanligen används olika statistiska metoder, som med ett gemensamt namn kallas heterogenicitetstest.

Bör vara försiktig

– Om resultaten från studierna skiljer sig alltför mycket bör man vara försiktig med att lägga samman dem. Kanske bör man pröva att utesluta de mest avvikande studierna, säger Bengt Brorsson.

För att bedöma värdet av en systematisk kunskapsöversikt görs en känslighetsanalys. Denna ställer frågan: "Hur förändras våra slutsatser av olika sätt att genomföra översikten?".

– Författarna går tillbaka och upprepar översikten, men ändrar vissa viktiga förutsättningar för att se om det påverkar slutresultatet.

– När man till sist drar slutsatser är det viktigt att inte förväxla brist på bevis med bevisad ineffektivitet. Att sakna bevis för att en åtgärd har effekt är inte detsamma som att ha bevis för att den saknar effekt, tillägger Brorsson.

Medicinska åtgärder innebär såväl nytta för patienten som risker och kostnader. När översiktens slutsatser formuleras måste alla konsekvenser vägas mot varandra och värderas.