Frågor och svar om vetenskaplig kvalitet

Artiklar i vetenskapliga tidskrifter visar inte sällan betydande brister i uppläggning, genomförande och rapportering. Av olika skäl kan de ändå ha bedömts vara intressanta att publicera. Det faktum att en studie har blivit antagen för publicering är således ingen kvalitetsgaranti.

Det finns ett mindre antal internationella tidskrifter som anses mer tillförlitliga än många andra. Dit hör brittiska Lancet och British Medical Journal samt de amerikanska The New England Journal of Medicine och JAMA. Även i dessa tidskrifter förekommer dock studier som inte håller högsta kvalitet. Alla tidskrifter måste läsas lika kritiskt.

Vetenskapliga resultat som ska tillämpas i praktisk sjukvård bör uppfylla särskilt höga kvalitetskrav, eftersom felaktiga slutsatser kan få allvarliga följder för liv och hälsa. Oklara eller motstridiga resultat måste därför vägas samman och utvärderas med särskild noggrannhet. Och om forskarna har avgränsat sina frågor snävt så bör även deras slutsatser tillämpas mycket begränsat.

Syftet med det arbete som SBU och liknande organisationer lägger ner på att granska den vetenskapliga litteraturen är att ge ett tillförlitligt beslutsunderlag. SBU beaktar inte bara den medicinska nyttan, utan också ekonomiska, etiska och sociala konsekvenser. Sådana aspekter tas sällan upp i originalarbetena, men är viktiga när kunskaperna ska tillämpas i praktiken.

Kan man lita på kunskapsöversikter? Måste man inte läsa originalartiklarna?

Såväl översikter som originalarbeten måste analyseras kritiskt, med beaktande av vanliga felkällor. Kunskapsöversikter sparar tid för läsaren, och välgjorda översikter ger tillförlitligare slutsatser än enskilda studier. Det är dock viktigt att komma ihåg att kunskapsöversikter i sämsta fall kan vara mer behäftade med åsikter och godtyckliga omdömen än den forskning som de sammanfattar. Slutsatserna i en översikt måste alltid ha täckning i det bakomliggande materialet.

Översikten ska till exempel redovisa vilken vetenskaplig kvalitet som studierna håller, hur stora och signifikanta effekter man har funnit, och hur väl resultaten från olika studier överensstämmer sinsemellan. Alternativa förklaringar till resultaten ska också uteslutas.

Vilka är de vanligaste felkällorna i medicinsk forskning?

Felkällor är oundvikliga. Det som skiljer tillförlitliga studier från otillförlitliga är hur väl studiens uppläggning och genomförande skyddar mot felkällorna.

Det finns två typer: slumpfel och systematiska fel. Slumpfelets storlek beror på antalet observationer. Ju fler observationer, desto mindre slumpfel. Exempel på systematiska fel är urvalsfel, bortfall, observationsfel och analysfel.

Urvalsfel innebär att försökspersonerna har valts på ett sätt som inte är representativt för den grupp som man vill dra slutsatser om. Sådana fel undviks bäst genom att deltagarna lottas fram ur gruppen.

Bortfallsfel, uppstår till exempel när en viss kategori av försökspersoner inte kan eller vill delta i hela undersökningen, något som kan förvränga undersökningsresultatet. Noggrann uppföljning och analys av bortfallet är viktigt.

Observationsfel härrör från själva insamlandet av data. Helst ska både försökspersoner och försöksledare vara omedvetna om vilka deltagare som tillhör experiment- och kontrollgrupp, annars kan förväntningseffekter påverka resultatet.

Analysfel uppstår när forskarna inte analyserar samtliga faktorer som kan tänkas påverka resultatet, utan bara vissa. Ett exempel är att bortse från rökvanor när man undersöker hur stress påverkar blodtrycket.

Vilken nytta gör bedömningar av vetenskaplig kvalitet?

Forskningsresultat blir meningslösa om man inte kan bedöma deras tillförlitlighet. Bedömningar av vetenskaplig kvalitet kan användas på flera sätt: för att välja ut de studier som ska ingå i en kunskapsöversikt, för att förklara skillnader i resultat från olika studier, för känslighetsanalys, och för att statistiskt "vikta" resultat från enskilda studier (i metaanalys).

Det finns goda möjligheter för den "vanlige" läsaren av vetenskapliga artiklar att bli säkrare i sina bedömningar av vetenskaplig kvalitet. Litteraturen på området är omfattande. Några exempel: Critical appraisal of published research. BMJ 1991;302:1136-40. Users guide to the medical literature. How to use an overview. JAMA 1994;272:1367-71. Checklists for review articles. BMJ 1994;309:648-51.