Precaución: uso del modelo de métricas y evaluación del Instituto de Salud para predecir el curso de la pandemia de COVID-19

Un reciente análisis de modelos realizado por el Instituto de Métricas y Evaluación de la Salud (IHME) que proyecta las muertes debido a la enfermedad del coronavirus 2019 (COVID-19) ha atraído considerable atención, incluso del gobierno de los EE. UU. El modelo utilizó proyecciones de mortalidad por COVID-19 para estimar los requisitos de camas hospitalarias y las muertes. Coincidimos con las conclusiones cualitativas de que la demanda de camas hospitalarias puede exceder la capacidad y que los esfuerzos para mejorar las políticas de mitigación y la planificación de aumentos repentinos son esenciales. Los datos respaldan las órdenes de confinamiento y sugieren que estas medidas deben mantenerse a la espera de avances en la vigilancia, el tratamiento y las vacunas.
Las proyecciones del IHME no se basan en la dinámica de transmisión, sino en un modelo estadístico sin base epidemiológica. Específicamente, el modelo utilizado reportó muertes por COVID-19 a nivel mundial y extrapoló patrones similares en las curvas de crecimiento de la mortalidad para pronosticar las muertes esperadas. La técnica utiliza datos de mortalidad, que generalmente son más confiables que los recuentos de casos confirmados basados ​​en pruebas. Los resultados sugieren estimaciones precisas (aunque con límites de incertidumbre) para todas las regiones hasta el fin de la epidemia. Esta apariencia de certeza resulta seductora cuando el mundo anhela saber qué nos depara el futuro. Sin embargo, los datos subyacentes y el modelo estadístico deben interpretarse con cautela. En este contexto, planteamos inquietudes sobre la validez y la utilidad de las proyecciones para los responsables de las políticas públicas.
En primer lugar, el modelo estadístico asume que la variación sistemática en las curvas de mortalidad entre regiones se refleja en el momento de la adopción de las decisiones de distanciamiento social, y que otras diferencias se explican por efectos aleatorios. El modelo se basa en la suposición, probablemente incorrecta, de que los efectos de las políticas de distanciamiento social son los mismos en todas partes y que las políticas de supresión se implementarán en todas las regiones y mantendrán su eficacia en todo momento.
Estas proyecciones pueden adolecer de la falacia de la ley de Farr, un método no mecanicista similar en el que se supone que las epidemias siguen una distribución normal desplazada y escalada para ajustarse a los datos. Sin embargo, las curvas epidémicas se ajustan a los datos iniciales de múltiples maneras que afectan las duraciones esperadas o el número máximo de muertes observadas . Esto es importante a medida que las epidemias progresan y se esperan desviaciones de las distribuciones normales, por ejemplo, debido a “segundas olas” tras la flexibilización de las intervenciones.
En segundo lugar, el enfoque modela las curvas de mortalidad para cada región con parámetros para el total final, el ritmo de crecimiento de la mortalidad y el momento en que la curva de crecimiento se flexiona. Hemos observado pocas curvas completas; la de la provincia de Hubei es la más completa, y las curvas en regiones de Italia y Corea del Sur han superado posteriormente sus picos. Después de tener en cuenta la edad y las diferencias sutiles en los tiempos de las políticas, se supone que todas las curvas siguen estos patrones generales. Esto es optimista: China promulgó restricciones más estrictas que en otros lugares después de observar solo 17 muertes, y Corea del Sur se benefició de las pruebas generalizadas para aislar los casos de forma temprana. La actualización de los resultados puede disminuir el grado en que la inferencia depende de unos pocos entornos, pero los países que han aplanado las curvas de mortalidad antes pueden no proporcionar una base para extrapolar tendencias en áreas donde un control similar podría resultar difícil de alcanzar. Además, el recrudecimiento de la transmisión sigue siendo posible entre períodos de intervención transitorios.
En tercer lugar, los recuentos de muertes pueden ser poco fiables y las diferencias en los informes ocurren incluso dentro de las regiones. Aunque los datos de la provincia de Hubei representan la curva de mortalidad más completa disponible, estas cifras son sospechosas . Italia y otros países solo informan las muertes en hospitales, descuidando así las muertes en otros lugares . La falta de pruebas puede impedir que las muertes se atribuyan a la COVID-19, particularmente al principio. Por ejemplo, en Bérgamo, Italia, el número de muertes anómalas es varias veces mayor que las cifras oficiales de COVID-19 . Los retrasos en los informes subestiman inicialmente el crecimiento de las curvas de mortalidad, lo que es particularmente preocupante porque el modelo utiliza patrones tempranos para proyecciones futuras. La reciente adición de hospitalizaciones agregadas también es problemática debido a informes inconsistentes y deficientes.
Aunque el subregistro de muertes afecta la magnitud final de la epidemia, podría no afectar la forma de las curvas de mortalidad. Sin embargo, esto supone que el subregistro y los retrasos en la notificación son similares a lo largo del tiempo y la geografía, con variaciones reflejadas por los efectos aleatorios propuestos. Estos problemas de notificación se asemejan a los que surgen comúnmente en los análisis de vigilancia de enfermedades infecciosas y deben tenerse en cuenta estadísticamente.
En cuarto lugar, a pesar de no tener en cuenta las fallas en la estructura de los datos y los modelos, las bandas de incertidumbre son amplias. Si se consideraran todas las fuentes de incertidumbre, los intervalos de confianza serían necesariamente más amplios, lo que haría que las proyecciones fueran menos restrictivas para las decisiones políticas. Las fuentes de incertidumbre no consideradas surgen de datos temporales inexactos sobre los recuentos de mortalidad y hospitalización; la especificación errónea del modelo, incluyendo las opciones de parametrización; y las imprecisiones en los supuestos sobre el momento y el efecto de las políticas de distanciamiento social en las distintas regiones. La representación gráfica de la incertidumbre en curvas tampoco es propicia para comprender la incertidumbre en las fechas pico de muerte diaria o de ingreso hospitalario. Esta incertidumbre sería más evidente si solo se mostrara la “envoltura” de incertidumbre sin la curva central, lo que actualmente sugiere una mayor precisión de la que el modelo puede ofrecer.
En quinto lugar, las proyecciones actualizadas ya revelan una volatilidad considerable. Para Nueva York, el modelo predijo 10 243 muertes (rango: 5167 a 26 444) el 27 de marzo y 15 546 (rango: 8016 a 22 255) el 30 de marzo. Dada la opacidad del modelo y los datos fuente subyacentes, resulta difícil comprender por qué las proyecciones de otras regiones también varían drásticamente. La alineación de las predicciones pasadas con la realidad y las predicciones actuales también debe informarse de forma transparente.
Finalmente, las proyecciones se interpretan de forma engañosa en medios formales y sociales, sin las debidas reservas, y los resultados difieren sustancialmente de los de otros modelos. Los límites superiores de incertidumbre se interpretan como el peor escenario posible cuando, en el mejor de los casos, solo reflejan un escenario. El modelo arroja una tasa de ataque inferior al 5 %; tasas más altas conllevarán una mayor mortalidad que los límites superiores.
En última instancia, el modelo del IHME podría ser confiable solo para proyecciones a corto plazo. Para las proyecciones de la demanda hospitalaria, los datos de resultados clínicos a nivel de paciente permitirán conclusiones más precisas que los datos globales de mortalidad mundial, deficientemente reportados, con estimaciones puntuales de cómo las muertes se traducen en el uso hospitalario. Los datos locales tienen menos probabilidades de estar sujetos a subregistros o errores de reporte, lo que ayuda a los hospitales a prepararse mejor para el futuro inmediato. También es improbable que un modelo único se ajuste a todas las regiones en todo momento. Los responsables de políticas públicas se beneficiarán más al considerar las proyecciones de múltiples modelos, lo que aumentará la comprensión de los factores que influyen en las proyecciones dispares y mejorará la comprensión de la incertidumbre no considerada en cualquier modelo. Las decisiones políticas importantes requieren información del modelo, pero los modelos solo son valiosos en la medida en que los resultados sean transparentes, válidos, se basen en fuentes documentadas precisas, se evalúen rigurosamente y generen proyecciones sólidas y confiables.
Fuente:
Caution Warranted: Using the Institute for Health Metrics and Evaluation Model for Predicting the Course of the COVID-19 Pandemic | Annals of Internal Medicine
https://www.acpjournals.org/doi/10.7326/M20-1565