Även metaanalyser måste läsas kritiskt

Medicin på internet är en skattkammare – eller en djungel, beroende på hur man ser det.

En del av de medicinska webbplatserna är interaktiva – användaren kan till exempel lägga in information om sina hälsoproblem och få råd och anvisningar i retur. Självklart är den informationen av varierande kvalitet.

En vetenskaplig rapport om effekterna av sådana interaktiva webbplatser (Interactive Health Communication Applications, IHCAs) väckte stort uppseende år 2004. Rapporten kom från Cochrane Collaboration, det internationella akademiska samarbetsorganet som är fristående från industri och politiska intressen.

\"Sämre hälsa\"

Den 16 oktober 2004 kom tre pressreleaser, bland annat från University College London, som meddelade att en Cochrane-grupp på universitetet hade funnit att personer som utnyttjar IHCAs har genomsnittligt sämre hälsa än andra jämförbara personer.

Uppgiften byggde, som alltid vid Cochrane-analyser, på forskningsresultat publicerade i medicinsk fackpress.

Rapporten och pressmeddelandet gav eko i världspressen. Massmedier i många länder, däribland Sverige, tog upp ämnet under sensationspräglade rubriker.

Men Cochrane-forskarna hade bitit sig i tummen. Efter bara 13 dagar försvann plötsligt den förbluffande rapporten från Cochranes webbplats. Vad hade hänt

Frågan belyses i en norskkanadensisk kritisk granskning som nyligen har publicerats under titeln \"Is Cybermedicine Killing You? - The Story of a Cochrane Disaster\". (1) Författarna pekar på att Cochrane- skribenterna har begått flera fel. Det enklaste, och därför mest uppseendeväckande, gäller hanteringen av data.

Cochrane-gruppen hade räknat fram effektstorleken (2) från varje undersökning och, enligt sedvanligt mönster, använt uppgifterna dels för tabellering, dels för sammanslagning till ett sammanfattande resultat.

Skillnaderna mellan IHCA-användarna och de övriga hade redovisats så att IHCA-gruppens resultat minus kontrollgruppens registrerades som \"IHCA bättre\" vid positivt tecken och som \"kontroll bättre\"vid negativt.

Men det man hade förbisett var att ett siffermässigt negativt resultat kan vara något fördelaktigt för patienten. För personer med diabetes är det fördelaktigt om blodets halt av glykerat hemoglobin, HbA1c, går ner. Alltså: ju större förändring i siffermässigt negativ riktning desto bättre.

Men Cochrane-undersökarna hade förbisett detta. Allt som gick åt det negativa hållet tolkades som ofördelaktigt. IHCA-användarnas större minskning av HbA1c under observationsperioden kom alltså att misstolkas som att deras hälsotillstånd hade försämrats.

Kan inte tänka

Den slutsats man kan dra är viktig men allt annat än ny. Ett datorprogram för statistik kan inte tänka. Den som ska tänka är den som matar in data och analysinstruktioner.

Missödet är naturligtvis genant för Cochrane-samarbetet, vars resultat så många har litat på i många år. Men när det gäller Cochranes tillförlitlighet är det nog rättvist att säga att undantaget bekräftar regeln. Även solen har fläckar.

Och förmågan att läsa kritiskt är alltid lika viktig, vem som än publicerar resultaten.

Jörgen Malmquist
docent i internmedicin

1. Eysenbach G, Kummervold PE. \"Is Cybermedicine Killing You?\" - The Story of a Cochrane Disaster. J Med Internet Res 2005;7:e21 (se www.jmir.org).

Effektstorlek (effect size) är ett praktiskt men tyvärr mångtydigt begrepp. Det kan syfta allmänt på graden av effekt hos en behandling. Men begreppet används också mer specifikt för att benämna det tal som erhålls då ett visst effektmått divideras med sin standardavvikelse. Fördelen är att effektstorleken är dimensionslös, dvs oberoende av vilken mätskala som använts. Man kan därför dels jämföra resultat som mätts på helt olika sätt, dels slå samman resultaten som led i en metaanalys.