Felkälla när forskare fiskar efter resultat

Ibland undersöker forskare så många tänkbara samband att det rent slumpmässigt uppstår statistiskt signifikanta korrelationer, som tas för sanna. På engelska kallas det data dredging, data fishing, data snooping eller p-hacking när forskare i efterhand fortsätter att analysera data tills de finner något.
Att göra så och enbart redovisa sina statistiskt säkerställda utfall är direkt olämpligt. Vad som då inte syns är att resultatet kan bero på slumpen.
Detta är en av många felkällor i forskningen som har beskrivits av en forskargrupp vid Centre for Evidence-Based Medicine vid Oxford-universitet. Deras lista kallas Catalogue of bias och finns på https://catalogofbias.org.

Resultatfiske med överdrivet många utfall och analyser ska undvikas eftersom det ofta blir vilseledande. En rad besläktade fel kan förebyggas genom att forskare till exempel:

• redovisar alla de grundförutsättningar och resultat som vid studiens början ansågs viktiga att undersöka
•  i förväg beslutar hur mycket data som ska samlas in, i stället för att vänta med detta beslut tills man har sett om statistisk signifikans har uppnåtts
• fullföljer datainsamlingen enligt sitt protokoll – även om statistiskt signifikanta resultat skulle obser-veras före planerat avslut
• beslutar vilka data som ska tas med eller uteslutas ur analyser innan man undersöker hur detta beslut påverkar studiens resultat
• medger att ett fynd är oväntat, om så är fallet, i stället för att presentera det som bekräftelse på en hypotes som har konstruerats i efterhand
• aktivt överväger om fynden kan förklaras av bakgrundsfaktorer som kön, ålder och socioekonomiska faktorer
• refererar väsentliga resultat från andra forskare, även sådana som försvagar den egna hypotesen. [RL]

Committee for Human Medicinal Products. Guideline on multiplicity issues in clinical trials. Draft.European Medicines Agency (EMA), 2016. Nerladdad från www.ema.europa.eu
John LK, et al. Measuring the prevalence of questionable research practices with incentives for truth telling. Psychol Sci 2012;23:524-32.