Läs vetenskapliga artiklar och finn forskningens vanligaste fallgropar

1. Hur formulerades hypotesen?

Den vetenskapliga artikeln bör presentera en tydlig frågeställning eller en hypotes, till exempel att ett läkemedel sänker blodtrycket mer än placebo. Formuleringen bör redovisa till exempel ett samband mellan två eller flera begrepp (variabler) eller en skillnad mellan två grupper (till exempel försöksgrupp och kontrollgrupp). Grundläggande begrepp ska definieras och förses med referenser.

Hypotesen bör vara så specifik som möjligt och ska vara testbar, det vill säga möjlig att bekräfta eller förkasta. Välgjorda studier försöker ofta förkasta hypotesen snarare än bekräfta den. Bakgrunden till hypotesen bör också framgå, där författarna anger referenser till tidigare arbeten. Är anknytningen till tidigare forskning logisk och tydlig, eller är problemet konstruerat, perifert eller löst anknutet till tidigare arbeten?

Det bör framgå varför ämnet är relevant – för vem, när, var och varför det är ett problem. En klart formulerad hypotes är ett av många kännetecken på en välplanerad studie.

En i efterhand konstruerad, oklar och luddig hypotes kan tyda på att undersökningen har haft karaktären av fiskafänge, där så många frågor har ställts att statistiskt signifikanta samband kan ha dykt upp slumpmässigt.

2. Hur valde man att testa den?

Metoden ska beskrivas i detalj – dels för att läsaren ska kunna kontrollera resultaten, dels för att andra forskare ska ha möjlighet upprepa studien under likartade förhållanden. Läsaren bör ta ställning till om forskarna har valt en lämplig metod som gör det möjligt att förkasta (eller bekräfta) sin hypotes. Passar den valda metoden för det problem som ska undersökas eller ger den bara delvis svar? Försökspersonerna ska väljas på ett sätt som svarar mot hypotesen. Antalet försökspersoner ska anges och vara tillräckligt stort för att skillnader av en viss förväntad storlek ska kunna påvisas. Lämplig urvalsstorlek beräknas redan när studien planeras, och metoden för denna beräkning bör redovisas.

Urvalet ska också vara representativt för den grupp som slutsatserna gäller. Det bästa är om urvalet har skett slumpmässigt i den grupp som undersöks. Det bör alltid framgå hur och var försökspersonerna har rekryterats (till exempel annonsering, om alla kom från en viss klinik, vilka diagnoskriterier som användes och hur köns- och åldersfördelning såg ut) eftersom ett snett urval påverkar resultatet.

Mätmetodernas validitet ska vara vetenskapligt testad, så att de mäter just det som de avser att mäta. (Om man vill mäta alkoholkonsumtion så är frågan "Hur mycket dricker du?" inte en valid metod.) De egenskaper som studeras ska vara kliniskt meningsfulla, och det bör framgå under vilka förhållanden som egenskaperna undersöktes. Vad har man gjort för att standardisera förfarandet? Om det finns utrymme för mätskillnader, bör detta framgå.

Det är viktigt att bedöma om kontrollgruppen är relevant och representativ, och om data har samlats in på samma sätt i kontrollgruppen som i försöksgruppen. Kontrollgruppen ska vara jämförbar med försöksgruppen i alla avseenden utom just beträffande det som man vill studera.

3. Hur genomfördes testet?

Genomförandet ska beskrivas i detalj. En tillförlitlig metod som tillämpas slarvigt kan ge mindre tillförlitliga resultat än en svagare metod som används noggrant. Det betyder bland annat att randomiserade och kontrollerade studier inte alltid är tillförlitliga. Själva lottningen av personer till försöksgrupp eller kontrollgrupp ska helst genomföras så att varken försöksledare, behandlare eller patient kan påverka proceduren, till exempel med slumpgenerator. Det bästa är om samtliga inblandade kan förbli ovetande om vilka personer som tillhör försöks- respektive kontrollgrupp tills studien har genomförts och analysen är avslutad. Annars finns det risk för förväntningseffekter.

Av praktiska skäl tvingas forskarna ibland ändra sin ursprungliga forskningsplan. Om en undersökning inte har kunnat fullföljas enligt det ursprungliga protokollet, ska detta framgå av rapporten. Det kan gälla patienter som avbryter studien, inte följer ordinationen, måste byta behandling eller bortfaller ur mätningarna. Forskarna bör kunna förutse och förebygga de flesta problem av det här slaget med hjälp av pilotstudier. Detta är dock inte alltid möjligt. Alla avvikelser ska redovisas i detalj.

4. Hur analyserades data?

Enkla analyser, till exempel beräkning av medelvärden eller medianvärden, bör redovisas först, därefter de mer komplicerade beräkningarna. Vanligen ska resultatet av en avancerad bearbetning peka åt samma håll som den enkla. Om de skiljer sig åt, bör orsakerna analyseras i detalj. Resultaten ska åtföljas av något mått på variationen inom de undersökta grupperna, ett spridningsmått. All statistisk bearbetning innebär att man gör vissa antaganden om de data som analyseras. En olämplig statistisk metod kan ge felaktiga resultat. Ibland krävs statistisk expertis för att avgöra om en lämplig metod har använts och om valet av bearbetning påverkar resultatet. Om författarna enbart har använt ovanliga och sofistikerade analysmetoder och/eller har gjort många olika bearbetningar, bör läsaren vara särskilt vaksam. Slumpen inverkar alltid på resultaten. Ju färre försökspersoner eller ju färre antal mätningar, desto större är risken. Därför ska artikeln redovisa sannolikheten att resultatet är slumpmässigt – den statistiska signifikansen – i form av ett p-värde eller ett konfidensintervall. Ett p-värde som är mindre än 0,05 innebär en ganska liten risk att resultatet bara beror på slumpen, och p<0,01 eller p<0,001 innebär ännu mindre risk. Det finns många sätt att indela materialet i undergrupper. Ju fler sådana subgruppsanalyser, desto större risk för slumpmässigt uppkomna, men statistiskt signifikanta resultat. En tumregel är återhållsamhet med att analysera undergrupper och att inte dra för stora växlar på resultaten. Om ovidkommande faktorer kan ha påverkat resultatet, ska detta framgå, liksom försök att kompensera detta i analysen. Bortfallet ska analyseras så att det framgår om det kan ha påverkat resultatet. Om vissa personer har bytt från försöksgrupp till kontrollgrupp under studiens gång, bör de analyseras tillsammans med sin ursprungliga grupp.

5. Hur tolkades resultatet?

Läsaren bör dels söka tänkbara felkällor som kan ligga bakom resultatet, dels bedöma om författarnas tolkning och slutsatser är välgrundade och rimliga jämfört med tidigare kunskaper. Statistiskt säkerställda resultat ger inte alltid stöd för de slutsatser som formuleras. Det är inte ovanligt att författarnas egen tolkning är alltför vidlyftig och delvis saknar täckning i resultatet.

Nya och överraskande resultat får större trovärdighet om de avser hela materialet och kvarstår vid analys av undergrupper.

Om slutsatsen är att det finns ett samband mellan två företeelser, så ökar trovärdigheten om det dessutom kan påvisas ett samband mellan dos och effekt, till exempel: ju högre dos desto större effekt.

Negativa resultat (det vill säga från varo av skillnader eller samband) måste tolkas med stor försiktighet. Det krävs nämligen stora studier för att avslöja små differenser. Slutsatsen "skillnad saknas" eller "samband saknas" kan sällan dras på basis av små studier.

Läsaren bör också kontrollera att alla viktiga resultat finns med i tolkningen, inte bara de som stöder författarnas hypotes. Resultat som går i motsatt riktning och negativa resultat ska också finnas med. Biverkningar ska redovisas.

En enstaka studie räcker sällan för att dra säkra slutsatser. Nya resultat bör tolkas mot bakgrund av tidigare fynd, gärna från andra forskargrupper.

En viktig fråga är om slutsatserna är allmängiltiga och motiverar ändrad praxis, eller om de bara gäller den undersökta gruppen.