Vilka prognoser leder till bättre beslut?

Många beslut i vård och omsorg bygger på antaganden om framtiden – hur en sjukdom eller ett socialt problem kommer att utvecklas. Vad händer om inget görs – hur riskerar individen att drabbas? Vilket behov har individen av hjälp och insatser?

En prognos är en skattning av sannolikheten att ett visst tillstånd ska uppträda hos en individ som har vissa egenskaper eller som lever under vissa förhållanden. Förutsägelsen bygger på systematiska observationer av grupper av individer som har haft likartade förutsättningar. Ofta i stora registerstudier där många människor har följts över tid och där några har utvecklat tillståndet.

Syftet med en prognos kan vara rent informativt – att få vetskap om risken för en individ att drabbas av tillståndet – eller att få bättre beslutsunderlag, för att kunna påverka situationen. I båda fallen bör prognosen vara träffsäker. Framtidsbilden ska vara så rättvisande som möjligt.

Skattningen görs med hjälp av en matematisk beräkningsmodell – en algoritm – där olika omständigheter kombineras och viktas för att försöka förutsäga ett visst tillstånd hos individen, på kort eller lång sikt.

Inom det medicinska området har det utvecklats en mängd prognosmodeller, exempelvis för att skatta risken för en individ att drabbas av hjärt-kärlsjukdom. Nya modeller publiceras hela tiden – men många av dem har metodproblem och högst oklar tillförlitlighet. Deras träff-säkerhet har aldrig jämförts med tidigare modeller, och nyttan för patienter har aldrig visats. Ännu mindre riskerna.

Ju mer sanningsenlig och detaljerad en prognos är, desto mer kunskap ger den och desto bättre beslut borde man kunna fatta. Men när prognoserna slår fel kan konsekvenserna bli allvarliga. Detta gäller följder för både enskilda individer och grupper. Därför är det viktigt att känna till kritiska frågor som måste kunna besvaras innan man förlitar sig på förutsägelserna.

Något som kan tyckas överraskande är att prognosmodeller kan vara träffsäkra även om det saknas kunskap om orsakerna till det tillstånd som förutsägs. Även om det är oklart varför tillståndet uppträder är det alltså fullt möjligt att utveckla en modell som ger träffsäkra prognoser – förutsatt att modellen bygger på tillräckligt många korrekta observationer och har analyserats med rätt statistiska metoder.

Vad en sådan modell däremot inte kan säga är vilka insatser som är till hjälp. För detta behövs effektstudier där man kan skilja orsaksfaktorer från bakgrunds- och förväxlingsfaktorer.

Forskare som bygger en prognosmodell utifrån observationsstudier måste undvika att ta med ovidkommande faktorer, som av en slump har uppträtt där samtidigt med tillståndet. Dessa orsakar ett ”brus” som i själva verket försämrar förutsägelserna så fort modellen tillämpas utanför studiernas ram.

Typiskt för avancerade matematiska modeller som gör prognoser är att de kan vara ytterst känsliga. Har algoritmen utvecklats och testats för att göra prognoser för en viss kategori människor, i en viss miljö, är det inte alls säkert att dess prognoser blir riktiga i ett annat snarlikt sammanhang. Och snarlika algoritmer kan ge skilda prognoser under exakt samma förhållanden. Ett välkänt exempel är väderprognoser. Prognoserna kan vara behäftade med stor osäkerhet och vara helt olika beroende på vilken modell olika leverantörer använder.

Huvudfrågan är om patienter och brukare verkligen har nytta av att en viss algoritm används som grund för beslut i vård och omsorg. Det enda sättet att undersöka saken är att först testa att modellen gör korrekta prognoser och sedan studera modellen i praxis för att undersöka effekterna.

Ett antal vetenskapliga krav måste uppfyllas. Till att börja med måste den matematiska modellen ha tagits fram utifrån rättvisande och fullständiga data från ett stort antal observationer. Många sjukdomar och tillstånd är multifaktoriella – förloppet påverkas av många faktorer hos individerna, deras omgivning och situation. Då måste algoritmen ta hänsyn till många faktorer för att kunna göra korrekta och tillräckligt detaljerade prognoser.

För att undvika systematiska fel, måste alla prognospåverkande faktorer registreras helt oberoende av utfallet. Datainsamlingen ska vara densamma för alla individer oavsett hur deras framtidsutsikter ser ut. Skulle insamlingen av data kunna påverkas av utfallet, kan detta leda till felaktiga prognoser. Sådant kan inträffa till exempel när patienter som verkar ha sämre hälsa ibland undersöks mer noggrant än andra.

Viktigt är också att modellens prognostiska förmåga har testats i ett sammanhang som liknar det avsedda, till exempel inom samma kategori av patienter eller brukare. Modellen bör dessutom ha prövats ut i olika undergrupper. Då kan den kalibreras och justeras så att den inte bara är genomsnittligt rättvisande för gruppen, utan också ger rätt besked för så många enskilda individer som möjligt.

Innan man kan säga att modellen håller för åtminstone grundläggande krav måste den genomgå olika statistiska test (som korsvalidering och bootstrap), så kallad intern validering. Man bör även ha undersökt om prognoserna blir lika rättvisande i andra kategorier av patienter och brukare, och i andra miljöer än dem där algoritmen har utvecklats. Detta kallas extern validering. Många modeller som publiceras i vetenskapliga tidskrifter har inte validerats tillräckligt för att anses tillförlitliga.

Viktigt är också att de studier som modellen bygger på, och som testar denna, använder enhetliga definitioner och avgränsningar av de tillstånd som modellen ska kunna förutsäga. Om tillstånden är olika, till exempel för att diagnoskriterier har ändrats över tid eller varierar mellan länder, kan resultaten bli felaktiga. Risken att diagnoskriterierna varierar kan vara särskilt stor när några av kriterierna inte är objektivt mätbara utan kräver en subjektiv bedömning.

Kontinuerlig uppföljning av hur modellen lyckas förutsäga händelser är nödvändigt. Exempelvis måste man återkoppla det verkliga utfallet varje gång som en prognos slår fel och justera modellen därefter. Om sådan återkoppling och justering sker automatiskt, talar man om maskininlärning eller självlärande system.

När det finns risk för allvarliga följder av en felaktig prognos, till exempel svår skada eller dödsfall, måste algoritmen redan från början konstrueras så att den varnar även om det är högst osannolikt att något så allvarligt faktiskt inträffar.

Ännu ett krav är att prognosmodellen redovisar hur säker varje förutsägelse är. En algoritm som levererar detaljerade men ofta felaktiga prognoser kan vara betydligt mindre användbar än en modell som ger mer övergripande men säkrare förutsägelser. Sättet att tydligt redovisa osäkerheten till användarna kan ha stor betydelse. Beslutsfattare måste förstå graden av tillförlitlighet i beräkningen och ta hänsyn till detta.

Sist men inte minst måste modellen vara praktiskt användbar, göra mer nytta än skada och vara värd sitt pris. Om modellen exempelvis kräver alltför mycket information som inte redan är enkelt tillgänglig kan den i praktiken bli oanvändbar.

En prognosmodell får varken vara överdrivet optimistisk (och missa att förutsäga tillståndet) eller alltför pessimistisk (och varna i onödan). Alarmistiska prognoser riskerar att skapa oro och leda till onödiga åtgärder. Överdrivet optimistiska förutsägelser, å andra sidan, kan skapa falsk trygghet, vilket också kan få allvarliga följder.

Det gäller också att komma ihåg att även om ett tillstånd kan förutsägas säkert med hjälp av en vetenskapligt välunderbyggd algoritm, kommer den inte att visa vilka insatser för att förebygga och åtgärda tillståndet som är effektiva, säkra och värda sitt pris. För detta krävs andra typer av studier. [RL]

Lästips

1. Challen R, et al. Artificial intelligence, bias and clinical safety. BMJ Qual Saf 2019;28:231-7.
2. Vollmer S, et al. Machine learning and artificial intelligence ... BMJ 2020;368:l6927.
3. Fall K, et al. Bra prognosstudier kan ge bättre kliniska beslut. Läkartidningen 2013;110:279-83.
4. Foroutan F, et al. Use of GRADE for the assessment of evidence about prognostic factors ... J Clin Epidemiol 2020;121:62-70.
5. Damen JA, et al. Prediction models for cardiovascular disease risk in the general population: systematic review. BMJ 2016;353:i2416.
6. Riley RD, et al. A guide to systematic review and meta-analysis of prognostic ...BMJ 2019;364:k4597.
7. Collins GS, et al. The TRIPOD Statement. BMJ 2015;350:g7594.