Vinklad tolkning snedvrider fynden

Långt ifrån all forskning är tillförlitlig. Direkt fusk och oredlighet kan få stor uppmärksamhet i medierna men är trots allt relativt ovanligt. Betydligt mer utbredda problem, som inte betraktas som fusk men som ändå förvränger resultaten, förbigås ofta med tystnad. Ändå kan de leda till fullständigt felaktiga slutsatser.

SBU:s systematiska översikter av den vetenskapliga litteraturen visar att många studier är bristfälligt utformade. Det kan handla om allt från felaktig användning av statistiska metoder till utelämnande av väsentliga uppgifter och manipulation av effektmått för att få tydligare resultat. Orsaken kan givetvis varabristande kunskap eller slarv när det gäller forskningsmetodik. Men problemen kan också bero på mer eller mindre medvetna avsteg från forskningens etiska grund. I stället för att allsidigt undersöka ett ämne eller pröva en hypotes, kan det vara frestande för forskare att vinkla sina frågor och svar för att få stöd för den egna uppfattningen. Sakligheten kan hotas av politiska hänsynstaganden, personliga karriärintressen, professionella dispyter, avundsjuka, hybris och ärelystnad.

På det medicinska området finns det starka ekonomiska intressen i bakgrunden. I början av 2000-talet publicerade redaktörer vid några av världens ledande vetenskapliga medicintidskrifter kritiska och självkritiska beskrivningar av läkemedelsindustrins inflytande på vetenskapliga publikationer. Några år senare kom en omfattande genomgång från amerikanska Institute of Medicine som pekar på att en alltför tät relation mellan läkemedelsindustri, medicintekniska företag, enskilda forskare och forskningsinstitutioner innebär en klar risk för snedvridning.

Vetenskapssamhället har fastlagt ett etiskt fundament som förväntas gälla. Här ingår bland annat att forskningsresultat inte får manipuleras för att gagna vinstintresse eller personlig övertygelse hos forskaren själv eller omgivningen. Vetenskapliga påståenden måste vara öppna för ifrågasättande och ska accepteras på grundval av observerade fakta – inte på grund av särintressen. Sakinnehållet i hypoteser, invändningar och kritik ska beaktas utan hänsyn till vem eller vilka som framför dem.

Idealen är höga – men följs inte alltid i praktiken. När experter summerar och diskuterar bevis för sina ståndpunkter kan de exempelvis bortse från sådant som motsäger hypoteserna och tillmäta bekräftande fynd oproportionerligt stor vikt. Den här typen av vinkling, så kallat bekräftelsefel (se faktaruta), beskrevs
redan på 1600-talet av den engelske filosofen Francis Bacon. Han noterade hur människor, när de väl har bildat sig en uppfattning i en fråga, gärna klamrar sigfast vid den – även om det finns mycket som talar emot. Motsägande fakta förbises eller viftas bort för att man ska kunna hålla fast vid sin första tolkning, konstaterade Bacon.

I vetenskapliga sammanhang finns det välkända problem där den här typen av vinkling kan tänkas bidra. Till exempel har det visats att en betydande andel av alla studier aldrig redovisas, eller så fördröjs publiceringen. Orsaken är ofta att forskarna inte har skrivit ihop eller skickat in forskningsrapporter för publicering eftersom de inte har varit nöjda med resultatet. Samtidigt finns det dokumenterade exempel på att resultaten från andra studier överdrivs genom att de publiceras flera gånger, antingen som duplikat eller som delresultat i många omgångar, så kallad salamipublicering. Även om vetenskapssamhället försöker hantera problemen, verkar de kvarstå.

Och när nya resultat presenteras, refererar forskarna ofta till ett snävt urval av tidigare studier i stället för att ge en översiktsbild. En systematisk genomgång från 2011 av olika medicinska områden visar att mindre än en fjärdedel av alla randomiserade studier citeras i senare liknande studier. Studier som påvisar en effekt citeras oftare än andra studier. Orealistiska förväntningar på nya och ”lovande” behandlingsmetoder kan dessutom leda till dåligt upplagda studier. Resultaten kan till exempel bli onödigt osäkra när forskare väntar sig stora och snabba effekter och därför lägger upp alltför små eller alltför kortvariga studier. Samtidigt som urvalet av försöksdeltagare som ingår i en undersökning kan vara snävt, förekommer det att forskare drar stora växlar på resultatens giltighet för andra grupper.

Risken för vinklade resonemang och tolkningar kan vara särskilt stor i diskussionsavsnitt som brukar ingå i vetenskapliga publikationer, men även i andra delar av vetenskapliga artiklar kan ensidiga tolkningar och felslut smyga sig in. När en studie till exempel visar en tendens till gynnsam effekt som inte är statistiskt säkerställd, kan författarna beskriva detta som lovande. En tendens till lika stor försämring beskrivs däremot inte som en varningssignal. Sådant önsketänkande blir också tydligt i studier som inte lyckas påvisa en förväntad skillnad och där författarnas tolkning är att studierna var för små för att upptäcka en skillnad. Men möjligheten att det kanske inte föreligger någon väsentlig skillnad måste också framhållas.

Det blir också problematiskt om man sätter likhetstecken mellan tidssamband och orsakssamband – om man förutsätter att händelsen B som inträffat efter händelsen A måste ha orsakats av A. Att två företeelser sammanfaller tidsmässigt behöver inte betyda att den ena har orsakat den andra.

Ytterligare ett fel som förekommer i vetenskapliga sammanhang är att man tolkar brist på bevis för en viss gynnsam eller ogynnsam effekt som avsaknad av sådana effekter. Att det saknas belägg för ett visst påstående innebär inte att det är falskt. Att det saknas motbevis betyder inte heller att påståendet är sant. Frånvaro av biverkningsrapporter om en viss behandling betyder inte att behandlingen är biverkningsfri. Att det saknas bevis för att en behandling har effekt behöver inte betyda att den är verkningslös.

Medicinhistorien visar hur förespråkare för olika oprövade behandlingar ensidigt sökt stöd för metoderna, utan någon avsikt att vara partisk – men ändå utan att ifrågasätta.

Förmågan att tänka kritiskt och att ompröva hypoteser är en grundsten i vetenskapligt arbete. Detta är något som måste tränas och uppmuntras, inte bara bland forskare utan även i vetenskapligt baserad vård och omsorg.

Utmaningen är att acceptera den ovisshet som råder på många områden, och att inte hemfalla åt vare sig tvärsäkerhet eller överdriven skepsis.

Lästips

• Nickerson RS. Confirmation Bias: A Ubiquitous ...Review of General Psychology 1998;2:175–220.
• Institute of Medicine. Conflict of Interest ... Washington, DC: The National Academies Press, 2009.
• Driessen E, et al. Does Publication Bias Inflate the Apparent Efficacy ... PLoS ONE 2015;10:e0137864.
• Thaler K, et al. Inadequate use and regulation of interventions ... J Clin Epidemiol. 2015;68:792–802.
• Song F, et al. Dissemination and publication ofresearch ... Health Technol Assess 2010;14; 1-193.
• Robinson KA et al. A Systematic Examination of the Citation of Prior ... Ann Intern Med 2011;154:50-55.