Kritiska frågor om systematiska översikter

Vilka slags studier har tagits med?

• Bestämdes syftet med översikten och kriterier för vilka studier som skulle tas med i förväg?
• Var urvalet av studier lämpligt för den fråga som översikten skulle besvara? 
• Var kriterierna för urval av studier entydiga?
• Avgränsades urvalet på lämpligt sätt utifrån studiernas aktualitet, storlek och kvalitet samt utfallens relevans?
• Avgränsades urvalet på lämpligt sätt utifrån typ av källa, t ex typ av publikation, språk eller tillgång till rådata?

Forskningsfrågan och inklusionskriterier ska ha fastställts innan översikten genomförs. Det bör framgå om översikten omfattar alla typer av publikationer (t ex även rapporter) eller om den begränsats till vissa publikationstyper (t ex enbart tidskriftsartiklar) eller språk. Även exkluderade studier bör finnas i en förteckning.

Hur har man sökt efter studier?

• Hade litteratursökningen tillräcklig bredd i fråga om databaser för publicerade och opublicerade studier?
• Användes några andra metoder än databassökning för att hitta relevanta studier?
• Lades litteratursökningen med söktermer och sökfraser upp på ett sådant sätt att den bör ha kunnat fånga upp så många relevanta studier som möjligt?
• Gjordes lämpliga avgränsningar vad gäller publikationsår, publikationstyp och språk?
• Har särskilda ansträngningar gjorts för att minska risken för felaktigt urval av studier?

Sökningen bör ha gjorts i minst två namngivna databaser, och det ska framgå vilka publiceringsår som ingår, vilka sökord och sökstrategier som har använts. Sökningen bör ha kompletterats med tidigare översiktsartiklar, läroböcker samt referenslistorna i framtagna studier. Ämnessakkunniga bör tillfrågas.

Hur har data extraherats och bedömts?

• Gjordes särskilda ansträngningar för att minska risken för fel när uppgifter hämtades från de ingående studierna?
• Har översiktsförfattarna och läsaren av översikten tillräcklig information om studierna för att kunna tolka resultaten?
• Extraherades alla relevanta forskningsresultat för en sammanvägning?
• Bedömdes risken för snedvridning i studierna (deras vetenskapliga kvalitet) på ett strukturerat sätt med adekvata kriterier?
• Gjordes särskilda ansträngningar för att på bästa sätt förebygga felaktig bedömning av risken för snedvridning?

Data från studierna ska ha extraherats av minst två oberoende granskare, och vilket förfarande som har använts för att hantera oenighet bör redovisas. Försöksdeltagarna bör beskrivas noggrant, exempelvis ålder, etnicitet, kön, socioekonomiska data, hälsotillstånd och sjukdomshistoria. Uppgifter om insatser/behandlingar och utfall i studierna bör ha presenterats på ett överskådligt sätt. Förutbestämda metoder för kvalitetsvärderingen ska ha angetts, och värderingen av metodologisk stringens och vetenskaplig kvalitet ska presenteras tydligt.

Hur har resultaten sammanställts?

• Tog översikten med alla studier som skulle tas med?
• Har alla i förväg beslutade analyser presenterats och eventuella avvikelser förklarats?
• Var sammanvägningen av studiernas resultat lämplig – var frågor, upplägg och utfallsmått tillräckligt lika?
• Har eventuella olikheter mellan studierna (heterogenitet) hanterats väl i översikten?
• Har författarna bedömt om sammanvägningens resultat håller för känslighetsanalys, där vissa avvikande data utesluts eller alternativa värden används? Har risken för snedvriden publicering bedömts – kan det finnas opublicerade studier?
• Var risken för snedvridning försumbar i de ingående studierna eller har översikten tagit hänsyn till denna risk?

Lämpligheten i att lägga ihop resultaten från studierna ska ha analyserats. Om studierna skiljer sig åt väsentligt, bör det framgå hur detta har beaktats vid eventuell sammanvägning av resultaten. Översikten bör ha använt olika metoder för att bedöma om det finns risk för snedvriden publicering på området (t ex trattdigram plus statistiska metoder som Eggers regressionsanalys). Eventuella sponsorer och finansiärer måste redovisas både i översikten och i de ingående studierna.

Källor: Whiting P, et al. ROBIS: A new tool ... J Clin Epidemiol. 2016;69:225-34 samt SBU:s metodbok