Alla kort läggs inte på bordet

Den som genomför en vetenskaplig studie måste göra ett antal val. Forskaren måste bestämma vilka frågor som är viktigast att besvara och hur resultaten ska analyseras. Men det gäller också att välja ett rättvisande sätt att presentera utfallet på – och den vetenskapliga litteraturen ger åtskilliga exempel på motsatsen.

Problemet uppmärksammades då den vetenskapliga tidskriften JAMA publicerade en granskning av danska förhållanden.

Forskarens plan för sin studie, det så kallade protokollet, måste godkännas av en etisk kommitté innan undersökningen genomförs. Där framgår vilka frågor som forskaren anser är centrala och vilka effektmått som är de allra viktigaste, primära.

Mått utelämnades

När 102 forskningsprotokoll från Köpenhamnsområdet jämfördes med de 122 vetenskapliga artiklar som forskarna senare hade publicerat, upptäcktes tydliga skillnader. Effektmått, som forskarna tidigare angett som primära i sina protokoll, hade nu rubricerats som sekundära eller strukits helt. I två tredjedelar av de 82 randomiserade studier som hade angett ett primärt effektmått, hade detta antingen ändrats eller utelämnats när resultaten redovisades. Som motiv för att helt utelämna effektmått angavs att statistisk signifikans inte uppnåtts, att utfallet var kliniskt ointressant eller att tidskriften inte gav tillräckligt utrymme för resultaten. Bara 49 av de 102 forskarna besvarade en enkät om de utelämnade effektmåtten. Bland de svarande förnekade majoriteten att de hade mätt effekter som aldrig avrapporterats.

– I en och samma studie kanske forskaren gör mellan 20 och 40 olika analyser av sitt material, säger Hans Melander, statistiker vid Läkemedelsverket.

– Visst skulle resultaten bli svåröverskådliga om allt redovisades lika detaljerat. Visst kan det vara svårt att i efterhand komma ihåg hur man tänkte när studien planerades. Och visst kan det finnas legitima skäl att modifiera sina planer under studiens gång.

Skäl att undra

– Men om forskare radikalt ändrar sin bedömning av vilka effektmått som är allra viktigast, finns det skäl att undra vad de egentligen är ute efter. Att en huvudfråga blir perifer eller helt ignoreras är anmärkningsvärt, säger Hans Melander.

Liknande problem redovisas i en artikel i tidskriften The Lancet. Granskare hade lyckats få tag i 37 av 67 protokoll för randomiserade studier, som samtliga hade accepterats för publicering och återgivits på tidskriftens webbplats. Men de 37 forskningsprotokollen och de 50 artiklar som skulle redovisa studiernas resultat stämde dåligt överens. I elva av 37 studier avvek artiklarnas primära effektmått betydligt från motsvarande protokoll: primära effektmått hade utelämnats i fem fall, nya mått hade introducerats i åtta fall, och i två studier hade primära effektmått ändrats till sekundära.

Vinklar resultaten

Avrapportering av en studie vid en annan tidpunkt än planerat kan vara ett annat sätt att vinkla resultaten.  Ofta görs mätningar vid flera olika tidpunkter, och det händer att forskarna enbart publicerar det gynnsammaste mättillfället.

– Ett exempel, berättar Hans Melander, är en undersökning som skulle jämföra olika inflammationsdämpande läkemedel av så kallad NSAID-typ, bland annat celecoxib. Studien lades upp för att registrera komplikationer från mag-tarmkanalen och magsår som gav symtom.

Forskarna ville ta reda på vilket preparat som var mest skonsamt och skulle följa patienterna i tolv månader. Men redan efter halva tiden publicerade de sitt resultat som en 6-månadersstudie som visade att celecoxib var bäst.

Var redan klara

– De nämnde inte med ett ord att patienterna skulle följas dubbelt så länge, säger Hans Melander. I själva verket var 12-månadersresultaten redan klara och analyserade vid publiceringstillfället, och då fanns ingen signifikant skillnad mellan preparaten.

Dessutom var det effektmått som lyftes fram efter sex månader inte alls det primära, förklarar Hans Melander.

– Det är ett solklart fall av selektiv rapportering.

Påverkar resultatet

I nästan alla kliniska studier finns ett bortfall, det vill säga försöksdeltagare som lämnar undersökningen innan den fullbordats. Olika sätt att analysera bortfallet kan påverka resultatet betydligt.

– Det finns en tydlig tendens att bara publicera den beräkning som ger det mest positiva utfallet, säger Hans Melander. Följden blir en överskattning av behandlingens effekt. Ett exempel är metaanalyser av publicerade studier av antidepressiva läkemedel, där vi har visat att den överskattade effekten till största delen beror på att forskarna har valt en viss form av bortfallsanalys.

Information brister

Ytterligare ett problem – som kanske är det allvarligaste – är att information om biverkningar brister i många artiklar. Ofta rapporteras bara positiva effekter. En genomgång av nästan 200 publicerade studier av vitt skilda medicinska områden visar att uppgifterna om biverkningar var undermåliga i hälften av fallen. Ännu dystrare var bilden i en analys av ett hundratal psykiatriska studier, där andelen med dålig biverkningsinformation var 75 procent.
Frågan om vilken kunskap som finns måste följas av frågan om vilken kunskap som saknas. [RL]

Lästips

Chan AW, et al. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA 2004;291: 2457-65.

Al-Marzouki S, et al. Selective reporting in clinical trials: analysis of trial protocols accepted by The Lancet. Lancet 2008;372:201.

The Cardiac Arrhythmia Suppression Trial (CAST) Investigators. NEJM 1989; 321:406-12.

Ioannidis JP, et al. Completeness of safety reporting in randomized trials: an evaluation of 7 medical areas. JAMA 2001;285:437-43.

Papanikolaou PN, et al. Safety reporting in randomized trials of mental health interventions. Am J Psychiatry 2004;161:1692-7.

Chan AW, et al. Outcome reporting bias in randomized trials funded by the Canadian Institutes of Health Research. CMAJ 2004;171:735-40.

Al-Marzouki S, et al. The effect of scientific misconduct on the results of clinical trials: a Delphi survey. Contemp Clin Trials 2005;26:331-7.

Furukawa TA, et al. Association between unreported outcomes and effect size estimates in Cochrane meta-analyses. JAMA 2007;297:468-70. 

Hela tidningen som pdf