Egenskaper hos effektiva datorbaserade kliniska beslutsstödssystem

Inledning

Datorbaserade kliniska beslutsstöds­system (CCDSS, Computerized Clinical Decision Support System) har utvecklats under de senaste fem decennierna för att underlätta för sjukvårdspersonal att hantera den ökande mängd information som de måste ta ställning till vid varje vårdtillfälle. Dessa avancerade programvaror används för att länka patientuppgifter till kunskapskällor för att till exempel föreslå åtgärder, underlätta diagnostik, uppmärksamma risker eller följa vissa utfalls­mått över tid (Figur 1). Syftet med kliniska beslutsstöds­system är att förbättra det kliniska beslutsfattandet och att gynna konsekvent användning av den bästa medicinska kunskapen.

Här sammanfattar och kommenterar SBU en rapport från den medicinska tidskriften British Medical Journal, där Roshanov och medförfattare [1], genom att använda logistiska regressions­modeller, har undersökt faktorer som kan leda till effektiva respektive ineffektiva datorbaserade kliniska beslutsstödssystem.

Kommenterad rapport

Roshanov SM, Fernandes N, Wilczynski JM, Hemens BJ, You JJ, Handler SM, et al. Features of effective computerised clinical decision support systems: meta-regression of 162 randomised trials. BMJ 2013;346:f657.

SBU:s sammanfattning

Beslutsstöds­system som inte bara ger information till vårdpersonal utan även riktar sig till patienter är oftare effektiva. Det visar en regressions­analys av egenskaper hos datorbaserade kliniska beslutsstöds­system som bygger på 162 randomiserade kontrollerade studier. Beslutsstöds­system som kräver att vårdpersonal motiverar avvikelser från råd och varningar är också oftare effektiva. Analysen visar även att beslutsstöds­system som har påminnelser och varningar i arbetsflödet har en mindre sannolikhet att vara effektiva, vilket går emot den tidigare allmänna uppfattningen. Detta betonar vikten av att endast de viktigaste behandlingsråden ska tillåtas att bryta in i patientmötet.

SBU:s kommentarer

• Översikten visar att beslutsstöds­systemen blir effektiva oftare om både vårdgivare och vårdtagare får råd. Exempel på sådana råd är påminnelser om uppföljningar eller målvärden [2] som skulle kunna ges skriftligt under läkarbesöket eller vid ett senare tillfälle elektroniskt, per telefon, eller som brev. Denna utveckling kommer att gynnas av det pågående arbetet med e-hälsa i Sverige. Ett av målen är att alla invånare i Sverige ska ha direkt och säker tillgång till sin journalinformation via ”Min journal” på nätet 2017.
• System som ger råd direkt i arbetsflödet (t ex den elektroniska journalen) har ett samband med lägre effektivitet. Detta skiljer sig från tidigare uppfattningar och kan tyckas vara motsägelsefullt. En tänkbar förklaring kan vara att det finns för många behandlingsråd eller varningar (alerts) i journalsystemen, så att en slags uttröttningseffekt (alert fatigue) uppträder. Uttröttningseffekten ökar om varningarna tycks sakna relevans, eller om de upprepas i onödan. Alert fatigue kan leda till att vårdpersonalen ignorerar information och då riskerar att missa det väsentliga.
  • Arbetet med att begränsa och förtydliga de allvarligaste varningarna pågår för fullt i svensk hälso- och sjukvård eftersom fler och fler alerts har tillkommit under de senaste åren. Det handlar till exempel om läkemedelsinteraktioner, riskläkemedel till äldre, barn, ammande kvinnor, eller läkemedel under bevakning*.
  • Funktionalitet i de nya beslutsstöden i Sverige har börjat bli mer stödjande i arbetsflödet, det vill säga de hjälper vårdpersonalen att visualisera och fokusera informationen, istället för att användas som en ¨kom ihåg-funktion” och varningslarm.
• Analysen i översikten tyder på att systemen blir mer effektiva om det är obligatoriskt för användare som vill ignorera en uppmaning från systemet att förklara varför de gör så. Risker finns här att förskrivaren accepterar bara för att snabbt komma vidare, även när det kan vara väl motiverat att inte följa rådet. Men förklaringarna ger också systemutvecklare tillfällen att utvärdera informationen som levereras av beslutsstöden och på så sätt driva systemutvecklingen utefter vårdens behov.
• Studierna var av varierande kvalitet och kvantitet vad gäller erfarenhet från det direkta användandet. Å ena sidan ansåg rapportförfattarna att beslutsstöds­systemen oftare är effektiva om systemens egna utvecklare var inblandade i utvärderingen. Å andra sidan innebär detta en risk för intressekonflikt vilket gör att det är svårt att dra några långtgående slutsatser utifrån sådana interna utvärderingar.

Sammanfattning av originalrapporten

Om studierna i originalrapporten

Rapporten av Roshanov och medförfattare är den sista i en serie av sju systematiska översikter där beslutsfattare och forskare gemensamt har gjort en utvärdering av datorbaserade kliniska beslutsstöds­system [1]. SBU sammanfattar och kommenterar endast rapporten av Roshanov och medförfattare. Sammanfattningar av de sex tidigare översikterna finns i Faktaruta 2 [2–7].

Rapporten omfattar 162 randomiserade kontrollerade studier publicerade mellan år 1976 och 2010. För att ingå i rapporten måste systemen användas av sjukvårdspersonal som har hand om patienter i klinisk praxis eller under vårdutbildning. Författarna exkluderade studier som sammanfattade patientinformation, gav feedback till grupper men inte till individer, eller använde sig av simulerade patienter [8]. Även system för bildanalys exkluderades.

Ett system ansågs vara effektivt om den visade statistiskt signifikanta förbättringar (p<0,05) jämfört med kontroll för: 1. det primära förbestämda utfalls­måttet eller minst hälften av dem förbestämde de primära utfalls­måtten, 2. i minst hälften av alla utfalls­mått om det primära utfalls­måttet inte kunde fastställas eller om inga utfalls­mått var tydligt angivna i förväg. Utfalls­måtten var indelade i två grupper: utfall för vårdprocess och patientutfall. Processutfall mäter förändringar i vårdpersonalens agerande, till exempel i behandling, övervakning eller uppföljning av patienter. Patientutfall återspeglar förändringar i patientens hälsa, till exempel blodtryck, kliniska händelser eller livskvalitet. Av de 162 ingående studierna rapporterade 152 minst ett processutfall, och 83 rapporterade något patientutfall.

Analys

Regressionsanalysen utfördes stegvis (Figur 2).

Författarna använde sig först av en modifierad Delphimetod  för att bestämma vilka egenskaper i en CCDSS som mest troligt kunde kopplas till positiva utfall. Även författare till de ingående studierna fick kommentera och visa sitt samtycke om faktorernas troliga relevans. På så sätt identifierade författarna av översikten 23 faktorer som antogs kunna bidra till positiva utfall. Sex av dessa faktorer bedömdes vara mest sannolikt kopplade till framgångsrika system när de jämfördes med andra liknande översikter. Primära prespecificerade faktorer:

• Författare inblandade i systemutvecklingen
• Rådgivning i arbetsflödet
• Rådgivning vid patientmötet
• Råd integrerat med elektronisk journalföring eller vid beställning
• Åsidosatta råd kräver redovisning av orsak
• Försedd med råd till patient och vårdpersonal.

Dessa sex primära faktorer matades in i en regressions­analys baserad på Firth’s biaskorrigerade ekvation för att skapa en primärmodell (Figur 2B). Två av dessa primära faktorer visade sig inte bidra till systemens effektivitet: rådgivning i arbetsflödet och rådgivning vid patientmötet. Resterande fyra primära faktorer (utvecklad av författare, råd integrerade med elektronisk journalföring eller vid beställning, åsidosatta råd kräver orsak, försedd med råd till både patient och vårdpersonal) sammanställdes för att bygga den primära modellen.

I nästa steg använde författarna sig av en univariabel regressions­analys för att testa om de resterande 17 experimentella faktorerna (Figur 2C) kunde ha en positiv påverkan på ett systems effektivitet. Tre av dessa faktorer korrelerade med effektivitet (p<0,20):

• Resonemang bakom råd presenteras
• Systemutveckling gjordes på en stor institution
• Systemen är en del i en flerfaldig förändringsprocess

Dessa tre matades in i den primära modellen (Figur 2D), men endast systemen som var en del i en flerfaldig förändringsprocess kunde förbättra primärmodellen för att skapa en slutlig modell (Figur 2E).

Samtliga modeller testades med hjälp av olika statistiska metoder (maximum likelihood estimation logistic, exact logistic, random effects logistic) för att säkerställa att svaren var jämförbara. Ytterligare kontroller genomfördes för att utvärdera effekterna av saknade uppgifter och för att internt validera de primära resultaten (baserad på Firth’s ekvation).

Resultat

Drygt hälften (94/162) av de studerade systemen förbättrade vården (dvs ledde till en förändring i vårdpersonalens agerande) eller patienthälsan, varav 19 kunde visa en direkt påverkan på patienthälsan. Enligt författarna var system med följande faktorer mer benägna att vara associerade med ett effektivt CCDSS:

• kräva redovisning av orsak till varför man åsidosätter ett råd (OR 10,57, 1,88 till 59,56, p<0,001),
• systemutvecklare var inblandade i systemens utvärdering (OR 4,42, 1,67 till 11,71, p=0,002),
• kunna ge råd till såväl patienter som vårdpersonal (OR 2,92, 1,07 till 7,42, p=0,03).

Enligt författarna var system med följande egenskaper mer benägna att vara associerade med ett icke effektivt CCDSS:

• råd är integrerade med elektronisk journalföring eller vid beställning (OR 0,36, 95 % KI, 0,17 till 0,78, p=0,008),
• systemen är en del i en flerfaldig förändringsprocess (OR 0,36, 95 % KI, 0,12 till 1,09, p=0,06).

Även om data kommer från randomiserade kontrollerade studier ger analysen som används i översikten statistiska samband som inte behöver vara orsakssamband. Även om författarna var noggranna med att fylla i data som saknades och välja lämpliga faktorer att testa, samt att de använde flera sätt att bygga modeller, är det möjligt att de utvalda statistiska modellerna ändå inte var de rätta, vilket i sin tur kan ha lett till felaktiga slutsatser.  

SBU:s granskning av originalrapporten

Vid SBU:s kvalitetsbedömning av originalöversikten användes en granskningsmall för systematiska översikter som kallas AMSTAR [9]. Granskningen visade att studieurval och dataextraktion uppfyllde definierade kvalitetskrav för en systematisk översikt. Publikationsbias har inte bedömts av författarna, men eftersom de flesta systemen studerades av utvecklarna, är publikationsbias troligt, vilket innebär att dessa resultat kan vara en överskattning. Den statistiska analysen i översikten var avancerad och matematiska formler saknades, vilket gjorde modellen svårbedömd. Eftersom utgångsmodellen baserades på ett fåtal väl utforskade faktorer och testades med flera statistiska metoder bedömer SBU att den statistiska analysen är pålitlig. Även de interna valideringarna och sensitivitetsanalysen ökar analysens trovärdighet.

Faktarutor

Faktaruta 1 Regressionsanalys

Regressions­analys är en statistisk metod där målet är att skapa en funktion som bäst beskriver observerade data. Funktionen beskriver hur förändringar av olika faktorer verkar för eller emot utfalls­måtten. I översikten handlar detta om att genomlysa hur vissa systemegenskaper korrelerar med systemens effektivitet på att förändra vårdprocesser eller patienthälsa.

För att en regressions­analys ska fungera måste statistikern först noggrant välja ut faktorer som med stor sannolikhet påverkar utfallet och är i stort sett oberoende av varandra. Översiktens författare var noggranna med att välja ut ett begränsat antal faktorer att utreda.

Regressions­analys måste anpassas efter utfalls­måtten. I översikten var analyserna multivariata eftersom funktionen behövde beskriva fler än ett utfalls­mått: förändringar i vårdprocessen och patienthälsan. Alla analyser gjorda i översikten var också logistiska eftersom utfalls­måtten var diskreta, det vill säga, kunde besvaras med ja eller nej.

Univariabla regressions­analyser används för att undersöka hur en enskild faktor varierar i relation till utfalls­måtten. Multivariabla regressions­analyser används däremot när effekten av flera faktorer ska mättas samtidigt. Översiktens författare använde sig av både univariabla och multivariabla regressionsanalyser i följd för att först testa om en faktor var förknippad med utfalls­måtten och sedan hur faktorerna fungerade ihop i relation till utfalls­måtten.

Multipla regressions­analyser kan vara komplicerade eftersom faktorernas direkta effekter på utfallen ska mätas liksom deras synergistiska effekter. Man kan förenkla processen med att styra analysen genom olika algebraiska modeller som beskriver för datorn hur aktuella data ser ut (i motsats till den ideella uppsättningen) och hur faktorerna bör korrelera (t ex lineärt). Modellerna blir utgångspunkterna för analysen. Data läggs in i en av de bestämda modellerna i flera omgångar (processen kallas för iterativ), där programvaror förändrar de algebraiska konstanterna en bit i taget för att bättre kunna beskriva data utefter modellen.  När modellen och den nya funktionen har kommit så nära varandra som möjligt kallas de konvergenta. En bra konvergens kan bara ske om datafunktionen och modellen passar ihop. Översiktens författare har använt sig av flera regressions­modeller för att säkerställa att resultaten är tillförlitliga.

• Firth’s biaskorrigerade metod (även kallad penalized likelihood method) – kompenserar för att faktorer är beroende av varandra, att bias finns för ett utfalls­mått eller att mängden data är begränsad. Författarna har valt Firth’s metod som den mest lämpliga regressions­modellen för data i översikten.
• Den exakt logistiska metoden – är en mer precis penalized likelihood-metod som därför är mer beräkningsintensiv.
• Maximum likelihood estimation (MLE) – antar att datauppsättningen representerar hela populationen utan betydelsefulla systematiska fel. MLE är inte lämplig om datamängden är liten.
• Random effects logistic – kompenserar för eventuella systematiska effekter som uppstår när datauppsättningar från olika grupperingar förs ihop.

Det är viktigt att komma ihåg att en regressions­analys endast kan fastställa korrelationer mellan inmatade utfall och faktorer. Den ger inte bevis på ett orsakssamband, även om data härstammar från randomiserade kontrollerade studier.  

Faktaruta 2 Serien av översikter om ccdss

Alla sju översikterna i denna serie följde samma studieprotokoll [8] och är baserade på 162 randomiserade kontrollerade studier publicerade mellan år 1976 och 2010. Systemen var uppdelade i sex olika områden inom hälso-och sjukvård (Tabell 1–6). Ett system kunde ingå i flera studier. Beslutsfattare var inblandade i alla översikter på flera sätt, till exempel i dataextrahering, datatolkning och hypotesbildning. Sammantaget visade 58 procent (94 av 162) av systemen förbättringar i processutfall eller patientutfall, 52–64 procent av systemen räknades som effektiva för process­utfalls­måtten och 15–31 procent var effektiva för patientutfallsmåtten.

Figur 1 Datorbaserade kliniska beslutsstöds­system används av vården för att sammanställa patient­specifik information med kunskaper i form av samordnad vetenskaplig evidens och riktlinjer för att skapa patient­specifika genomförbara rekommendationer eller förvaltningsalternativ. Målet är att göra det enklare för vårdpersonalen att fatta rätt beslut och svårare att göra misstag och därmed bidra till säkrare vård. Beslutsstöds­systemen kan integreras direkt i journalsystemen eller vara självständiga programvaror som används vid sidan om.

Figur 2 Analysen för att bedöma vilka faktorer som kunde förknippas med effektiva beslutsstöds­system (med avseende både på process- och patientutfallen) gjordes i flera steg. A: Först identifierade författarna ett begränsat antal faktorer som var mest sannolikt relevant för systemeffektivitet. B: En multipel regressions­analys av de primära pre­specificerade faktorerna användes för att bygga en primär modell. C: I ett annat led identifierade författarna flera experimentella faktorer som analyserades först genom univariabel screening. D: Experimentella faktorer som visade sig kunna vara förknippade med systemeffektivitet matades tillbaka in i den primära modellen för att se om modellen kunde förbättras. E: Den slutliga modellen innehåller de fem faktorer som visade sig vara förknippade med de effektiva beslutsstödsystemen.

Referenser

1. Roshanov PS, Fernandes N, Wilczynski JM, Hemens BJ, You JJ, Handler SM, et al. Features of effective computerised clinical decision support systems: meta-regression of 162 randomised trials. BMJ 2013;346:f657.
2. Hemens BJ, Holbrook A, Tonkin M, Mackay JA, Weise-Kelly L, Navarro T, et al.Computerized clinical decision support systems for drug prescribing and management: a decision-maker-researcher partnership systematic review. Implement Sci 2011;6:89.
3. Nieuwlaat R, Connolly SJ, Mackay JA, Weise-Kelly L, Navarro T, Wilczynski NL, et al. Computerized clinical decision support systems for therapeutic drug monitoring and dosing: a decision-maker-researcher partnership systematic review. Implement Sci 2011;6:90.
4. Roshanov PS, Misra S, Gerstein HC, Garg AX, Sebaldt RJ, Mackay JA, et al. Computerized clinical decision support systems for chronic disease management: a decision-maker-researcher partnership systematic review. Implement Sci 2011;6:92.
5. Roshanov PS, You JJ, Dhaliwal J, Koff D, Mackay JA, Weise-Kelly L, et al. Can computerized clinical decision support systems improve practitioners' diagnostic test ordering behavior? A decision-maker-researcher partnership systematic review. Implement Sci 2011;6:88.
6. Sahota N, Lloyd R, Ramakrishna A, Mackay JA, Prorok JC, Weise-Kelly L, et al. Computerized clinical decision support systems for acute care management: a decision-maker-researcher partnership systematic review of effects on process of care and patient outcomes. Implement Sci 2011;6:91.
7. Souza NM, Sebaldt RJ, Mackay JA, Prorok JC, Weise-Kelly L, Navarro T, et al. Computerized clinical decision support systems for primary preventive care: a decision-maker-researcher partnership systematic review of effects on process of care and patient outcomes. Implement Sci 2011;6:87.
8. Haynes RB, Wilczynski NL, Computerized Clinical Decision Support System Systematic Review T. Effects of computerized clinical decision support systems on practitioner performance and patient outcomes: methods of a decision-maker-researcher partnership systematic review. Implement Sci 2010;5:12.
9. Shea BJ, Grimshaw J, Wells GA, Boers M, Andersson N, Hamel C, et al. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol 2007;7:10.

Projektgrupp 

Sakkunnig

Dick Stockelberg, docent, medicinsk chef, Inera AB

SBU

• Rebecca A. Silverstein, projektledare
• Pernilla Östlund, projektledare
• Madelene Lusth Sjöberg, projektadministratör
• Jan Liliemark, programchef
• Sten Anttila, intern granskare

Granskare

Lars-Olof Hensjö, pensionerad specialist i allmänmedicin samt internmedicin

Bindningar och jäv

Sakkunniga och granskare har i enlighet med SBU:s krav inlämnat deklaration rörande bindningar och jäv. Dessa dokument finns tillgängliga på SBU:s kansli. SBU har bedömt att de förhållanden som redovisas där är förenliga med kraven på saklighet och opartiskhet.