EPIDEMIOLOGIA, SALUT PúBLICA I ATENCIó PRIMàRIA

EPIDEMIOLOGIA CLíNICA I SERVEIS SANITARIS

9 abril, 2020

ESTUDIS COVID-19 – LIMITACIONS DELS MODELS PREDICTIUS

Una revisió sistemàtica destaca les limitacions dels models predictius pel diagnòstic i pronòstic de COVID-19

Data d’elaboració: 8 d’abril de 2020


MISSATGES CLAU

  • Una revisió sistemàtica ha identificat 31 models de predicció de la COVID-19, dels quals 18 són models de diagnòstic, 10 són models de pronòstic i 3 són models de predicció d’ingrés hospitalari per pneumònia.
  • Els models predictius disponibles fins ara estan subjectes a un alt risc de biaix de selecció de participants i la seva anàlisi estadística també presenta limitacions.
  • Com a conseqüència d’aquestes limitacions, el rendiment real dels models és previsiblement inferior al descrit pels seus autors.

CONTEXT

Els models de predicció són una eina de suport als professionals per avaluar als pacients amb COVID-19 i assignar recursos de salut. Aquests models de predicció combinen diverses variables o característiques per calcular el risc de les persones d’infectar-se o experimentar un mal resultat de la infecció (en definitiva, tenir un mal pronòstic).

Uns investigadors han desenvolupat una revisió sistemàtica que té l’objectiu d’identificar de manera sistemàtica i valorar críticament els models disponibles de predicció per la COVID-19, en particular els models diagnòstics i pronòstics [1].

METODOLOGIA

La revisió va incloure estudis que haguessin desenvolupat o validat un model multivariat o una escala de puntuació, basat en dades de participants individuals, per predir qualsevol resultat relacionat amb la COVID-19. Es van realitzar cerques a PubMed i EMBASE, a més de als servidors de prepublicació bioRxiv, medRxiv i arXiv. Es van utilitzar els termes metodològics següents: diagnòstic, pronòstic, model predictiu, aprenentatge automàtic (machine learning), intel·ligència artificial, algoritme, escala, aprenentatge profund (deep learning), regressió. Els autors van avaluar el risc de biaix dels models inclosos mitjançant l’eina PROBAST, específica pels models predictius [2].

Para aquells que van aportar informació, es va obtenir el rendiment predictiu de cada model, particularment les mesures de discriminació i calibratge. La discriminació es refereix a la mesura que els riscos predits discriminen entre els participants amb i sense el resultat; per la seva banda, el calibratge es refereix a la mesura que els riscos predits corresponen als riscos observats.

INFORMACIÓ RELLEVANT

La revisió va incloure 27 estudis que descrivien 31 models de predicció: 18 van ser estudis de models diagnòstics, 3 models de predicció d’ingrés hospitalari per pneumònia en població general i 10 models pronòstics.

La gran majoria de models diagnòstics per a detecció de COVID-19 o pneumònia per COVID-19 (13 dels 18) es basaven en imatges de tomografia computada. Sis dels 10 models pronòstic van estimar el risc de mortalitat en pacients amb sospita o confirmació de COVID-19, dos models van estimar el risc de progressió a un estadi de la malaltia avançat o crític, i dos més van estimar la durada de l’hospitalització. La majoria dels models es van desenvolupar a partir de dades de pacients amb COVID-19 de la Xina, excepte un estudi que va utilitzar dades de pacients d’Itàlia i un altre estudi que va utilitzar dades internacionals (Estats Units, Regne Unit i Xina, entre d’altres).

Tots els models tenien un alt risc de biaix d’acord amb l’avaluació amb l’eina PROBAST. Dels 27 estudis inclosos, 11 tenien un alt risc de biaix per al domini dels participants, i tots els estudis tenien un alt risc de biaix per al domini d’anàlisi estadística. El biaix de selecció en els models de predicció del risc d’ingrés hospitalari per pneumònia per COVID-19 va ser pel fet que es van desenvolupar a partir d’un conjunt de dades que no contenien cap pacient amb COVID-19, utilitzant com a mesura subrogada l’ingrés per pneumònia no tuberculosa, influença, bronquitis aguda o infeccions del tracte respiratori superior. Només quatre models van ser validats externament en un conjunt de dades independents. No obstant això, en tres d’aquests estudis, els conjunts de dades de validació externa no eren representatius de la població objectiu. El quart estudi, de petita grandària (només 27 participants), va tenir limitacions importants per un biaix de selecció. Així mateix, només tres dels 18 estudis inclosos sobre models diagnòstics van avaluar el calibratge, i només un d’ells va aplicar un mètode adequat.

CONCLUSIONS

Els models de predicció avaluats en la revisió sistemàtica tenien un alt risc de biaix i no disposaven de validacions externes independents. L’alt risc de biaix observat era degut a una descripció deficient dels models i a problemes metodològics quant a la selecció de participants, la descripció dels factors predictors i els mètodes estadístics utilitzats.

Aquest alt risc de biaix implica que els models probablement tindran un rendiment pitjor en la pràctica que el rendiment descrit pels investigadors. Per aquest motiu, els autors de la revisió sistemàtica conclouen que, en aquests moments, no poden recomanar cap model per a ser utilitzat en la pràctica, ja que la presa de decisions clíniques basades en prediccions poc fiables podria causar més perjudici que benefici. La previsible disponibilitat a curt termini de bases de dades internacionals de dades de pacients individuals amb COVID-19 permetrà validar i actualitzar els models disponibles actualment, superant així una de les seves limitacions.

Referències

[1] Wynants Laure, Van Calster Ben, Bonten Marc M J, Collins Gary S, Debray Thomas P A, De Vos Maarten et al. Prediction models for diagnosis and prognosis of covid-19 infection: systematic review and critical appraisal BMJ 2020; 369:m1328 DOI: 10.1136/bmj.m1328

[2] Moons KGM, Wolff RF, Riley RD, et al. PROBAST: a tool to assess risk of bias and applicability of prediction model studies: explanation and elaboration. Ann Intern Med 2019;170:W1-33. DOI: 10.7326/ M18-1377


Aquesta informació ha estat redactada per investigadors del Centre Cochrane Iberoamericà per contribuir a sintetitzar i actualitzar els resultats de la recerca disponible en relació amb la pandèmia provocada pel coronavirus SARS-CoV-2. Cap altra institució o organisme queda compromès pel contingut d’aquesta informació.

Aquest lloc web utilitza cookies per millorar l'experiència de navegació i realitzar tasques analítiques. Si continues navegant, considerem que n’acceptes l’ús. Més informació