Palabras clave
Introducción
La vacunación contra la COVID-19 fue la medida clave en la lucha contra la pandemia y su eficacia contra la muerte y el curso grave se ha demostrado en una multitud de estudios. Sin embargo, una gran mayoría de estos estudios (aparte de los estudios de registro) fueron observacionales. Se ha propuesto que los estudios observacionales están sujetos a sesgos inherentes, incluidas las diferencias en las estrategias de prueba entre los grupos vacunados y no vacunados o en la determinación de la causa de muerte (con COVID vs. debido a COVID) [ 1 , 2 ]. Últimamente, se ha sugerido que el llamado “efecto de vacunado saludable” (EVS) podría estar en juego, es decir, que la población vacunada podría haber sido en general más saludable que la no vacunada. Como los estudios observacionales se basan inherentemente en el supuesto de la misma probabilidad inicial de morir debido a COVID en ambos grupos, el EVS podría haber sesgado los resultados de dichos estudios hacia una mayor efectividad de la vacuna [ 3 , 4 ]. Lamentablemente, la mayoría de los conjuntos de datos disponibles públicamente contienen solo estadísticas resumidas proporcionadas por varias oficinas nacionales que no permiten una estratificación confiable de la población ni el cálculo del número de personas-años transcurridos en varios grupos de edad y vacunación, lo que impide la evaluación de la posible influencia de la HVE en los resultados de los estudios observacionales. Recientemente hemos publicado un artículo que corrobora la existencia de HVE en la población checa con base en datos agregados de la aseguradora de salud más grande de la República Checa [5] . Sin embargo, ese artículo se basó en datos agregados que nos impidieron explorar el tema lo suficiente, lo que nos llevó a la adquisición de datos de línea más detallados que permitieron un análisis más detallado.
En este artículo, por tanto, nos proponemos analizar la asociación entre la mortalidad por todas las causas (MCC) y el estado de vacunación en los grupos de edad más vulnerables para comprender mejor las posibles diferencias entre las cohortes vacunadas y no vacunadas.
Métodos
Adquisición de datos
Mediante una solicitud de libertad de información, obtuvimos datos de dos compañías de seguros de salud (en la República Checa, el seguro de salud es obligatorio y varias compañías de seguros de salud brindan el servicio). Cada línea del conjunto de datos correspondía a un individuo único e incluía su sexo, edad, fechas y tipos de todas las vacunas COVID y (si corresponde), la fecha de muerte. Al intentar averiguar si existe una diferencia entre la fragilidad inicial de los grupos, el ACM es el parámetro más revelador, ya que no está cargado con ninguna posible clasificación errónea sobre la causa de muerte. Por este motivo, solo se considerará el ACM en este estudio.
Cada compañía de seguros que colabora con el estudio decidió difuminar ligeramente los datos para excluir la posibilidad de identificar a cualquier individuo. El primer conjunto de datos proporcionado por la Compañía Checa de Seguros de Empresas (CPZP) comprende 1.362.924 individuos, es decir, aproximadamente el 13% de la población checa. No se trata de una muestra totalmente representativa de la población checa porque los clientes de CPZP tienden a ser más jóvenes que la media. Sin embargo, el tamaño de la cohorte permite realizar análisis interesantes. Los datos de tiempo se difuminaron a semana y año. El otro conjunto de datos proporcionado por la Compañía Profesional de Seguros (OZP) comprende 827.475 individuos, lo que representa otro 8% de la población checa, los datos de tiempo se difuminaron a mes y año de los eventos. El conjunto de datos de OZP servirá para validar los resultados obtenidos a partir del conjunto de datos más amplio de CPZP. En total, disponemos de datos completos sobre la mortalidad y la vacunación de más de 2 millones de personas durante todo el período de 2021 y 2022. Ambos conjuntos de datos están disponibles en https://github.com/PalackyUniversity/hve .
Métodos de análisis estadístico
Se utilizaron métodos simples de estadística descriptiva y visualización de datos. Como se analizaron los recuentos totales en conjuntos de datos completos, no se aplicaron indicadores de incertidumbre. Como la mayoría de las muertes (86% para CPZP y 85% para OZP) en nuestros conjuntos de datos ocurrieron en la categoría de edad de >60 años y este grupo de edad también fue el más propenso a morir por COVID (más del 93% de las muertes asociadas a COVID fueron en esta categoría de edad) [6] , nos centramos más solo en esta cohorte y la clasificamos en los grupos de edad de [60, 70), [70, 80) y 80+.
Decidimos no distinguir entre los tipos de vacunas, ya que la mayoría (aproximadamente el 80 %) de todas las dosis aplicadas fueron de Comirnaty y una estratificación adicional arrojaría un número demasiado pequeño de otras vacunas para un análisis confiable. Sin embargo, todos los receptores de la vacuna Janssen (43 603, 3,2 % en CPZP y 21 712, 2,6 % en OZP) fueron excluidos porque su esquema de vacunación difería de los demás. Para cada conjunto de datos, la cohorte se estratificó en las categorías de vacunación “No vacunado” y “menos de 4 semanas/más de 4 semanas” después de las dosis 1, 2 y 3. La distinción del estado de menos/más de 4 semanas de una dosis de vacuna se basó en la recomendación de aplicar la segunda dosis 4 semanas después de la primera y el retraso adicional necesario para alcanzar la inmunidad completa. Se calculó el ACM por 100.000 personas-año para todas las categorías (a) para todo el período de estudio, (b) para períodos de alta intensidad de COVID y (c) para períodos de baja intensidad de COVID.
Resultados
ACM según el estado de vacunación
La figura 1 muestra el ACM calculado para todo el período de estudio, es decir, de enero de 2021 a diciembre de 2022, para ambos conjuntos de datos. Muestra un patrón notable con un “triángulo de mortalidad más alto” formado por individuos no vacunados e individuos más de 4 semanas después de cada dosis. Este triángulo se complementa con un ACM notablemente más bajo entre aquellos que están menos de 4 semanas después de cualquier dosis de vacuna. Obsérvese que el patrón es muy similar en los tres grupos de edad y en ambos conjuntos de datos. Además, obsérvese que la extensión combinada de los conjuntos de datos (más del 20% de la población checa de dos fuentes independientes) garantiza que el patrón no sea un artefacto estadístico.
A primera vista, la figura podría sugerir que la vacunación funciona notablemente bien para prevenir la muerte. Sin embargo, la Figura 1 muestra la mortalidad por todas las causas , no la mortalidad relacionada con COVID . Dado que solo aproximadamente el 14% de todas las muertes durante el período de estudio estaban relacionadas con COVID (37.000 de 269.000 muertes) [ 7 , 8 ], era imposible que la vacuna hubiera tenido tal efecto en la mortalidad por todas las causas . Los hallazgos se vuelven aún más paradójicos cuando se analizan por separado los períodos de alta y baja intensidad de COVID ( Figura 2 ).
Entre junio y septiembre de 2021, prácticamente no se registraron muertes relacionadas con COVID en la República Checa (solo aproximadamente el 0,3% de las muertes estaban relacionadas con COVID). Por lo tanto, casi todas las muertes que se muestran en los paneles verdes de la Figura 2 no estaban relacionadas con COVID, aunque podemos observar enormes diferencias en el ACM entre los grupos en este período. Obsérvese la magnitud de estas diferencias en el período de baja COVID: el ACM de las personas de 80 años o más que están “a menos de 4 semanas de la dosis 2” (barras de color verde claro) es más de tres veces menor que el de los no vacunados. En el caso del grupo de edad de 70 a 80 años, la diferencia es más de cinco veces mayor. Al comparar los dos grupos más grandes en ese período, es decir, los no vacunados (azul oscuro) y los que completaron el ciclo primario (barras amarillas), la población no vacunada tenía más del doble de probabilidades de morir que la población con el ciclo primario completo. Esta aparente “eficacia de la vacuna” en un período en el que no había COVID es probablemente un artefacto de la HVE.
Ahora, centrémonos en los paneles rojos, que cubren el período de “alta COVID” de octubre de 2021 a mayo de 2022. En ese período, la República Checa registró casi 10.000 muertes relacionadas con COVID, lo que se traduce en un promedio de 40 muertes con/por COVID-19 por día. La eficacia de la vacuna para prevenir las muertes relacionadas con COVID debería conducir a un aumento en la proporción de ACM no vacunados:vacunados. Sin embargo, ocurrió exactamente lo contrario. En todos los grupos de edad, el ACM en la cohorte con el ciclo primario completado (barras amarillas) aumentó más del doble en comparación con el período de baja COVID, mientras que el ACM de la cohorte no vacunada aumentó solo en un tercio. Una comprobación de la coherencia con el mismo análisis realizado para el otro conjunto de datos (compañía de seguros OZP) arrojó resultados consistentes (véase el Suplemento S6). Esta observación paradójica puede deberse a que en el período de alta incidencia de COVID-19 se estaba vacunando con la tercera dosis, lo que nuevamente provocó una subselección del grupo más sano para la vacunación con la dosis de refuerzo, mientras que los individuos enfermos se concentraron en el grupo de “curso primario durante más de 2 meses”.
Evolución del ACM a lo largo del tiempo
Se puede inferir mucho de la evolución del ACM en el tiempo capturada en la Figura 3. Repetimos el análisis de los datos del CPZP, pero esta vez, el ACM se evalúa por separado para cada trimestre de 2021 y 2022. Aquí solo se presenta la cohorte de mayor edad; en la Figura S5 del Suplemento se muestra una presentación detallada de las cohortes más jóvenes.
El ACM de quienes completaron la primera dosis de vacunación (línea naranja) comienza en números muy bajos, pero tan pronto como comienza la distribución de dosis de refuerzo, su ACM aumenta y rápidamente alcanza al de la población no vacunada, mientras que el ACM de quienes recibieron la dosis de refuerzo es mínimo. Considerando la proporción de muertes relacionadas con COVID en los trimestres 4/21 (17%) y 1/22 (12%), este efecto no puede atribuirse únicamente al efecto protector de las vacunas ya que su magnitud es mucho mayor. Más bien, apoya aún más la noción de que el grupo de “primera dosis” se dividió en el grupo que optó por la dosis de refuerzo (el grupo con menos individuos frágiles) y el grupo con una mayor representación de los individuos frágiles que no optaron por la siguiente dosis. En el Suplemento se muestra un análisis más detallado por mes con todos los grupos; muestra estos efectos aún más claramente, pero es más difícil de leer.
Un modelo simple de HVE
Para comprender el mecanismo detrás de la notable estructura observada en las Figuras 1 y 2 , y en la Figura Suplementaria S5, preparamos un modelo simple de cómo se presentaría la HVE en los datos poblacionales.
Modelemos una cohorte de 170.000 individuos, de los cuales 17.000 mueren durante las 104 semanas (2 años) del seguimiento. Esto coincide aproximadamente con el grupo de clientes de CPZP que tienen más de 80 años (es decir, la cohorte que se muestra en la Figura 3 ). Para simplificar, las muertes se distribuyen uniformemente a lo largo de las 104 semanas y la edad no se considera en el modelo. Las muertes se modelan primero: para cada individuo, se lanza una moneda doblada con la probabilidad de 1/10 para indicar si este individuo muere dentro de esas 104 semanas (es decir, cada muerte tiene una distribución de Bernoulli con P = 1/10). Luego, la semana de la muerte se selecciona aleatoriamente de la distribución uniforme.
En la primera ejecución del modelo (como una comprobación de cordura), las tres dosis de vacunas se distribuyen entre la población modelada de la siguiente manera: la primera dosis se administra al 82% de la población. La semana de administración de la dosis 1 se deriva de una distribución normal con una media de 20 semanas y una desviación estándar (DE) de 3 semanas. La segunda dosis se administra al 96% de los que recibieron la dosis 1. El desfase entre la dosis 1 y la dosis 2 se selecciona de una distribución normal con una media = 20 y una DE = 3 semanas. La tercera dosis se administra al 82% de los que recibieron la dosis 2. El desfase entre la dosis 2 y la dosis 3 se selecciona nuevamente de una distribución normal con una media = 20 y una DE = 3 semanas. La prevalencia de las dosis (82%, 96% y 82%, respectivamente) coincide aproximadamente con la observación de la cohorte CPZP. En el caso de que el modelo asigne una dosis a un individuo más tarde que en el momento de su muerte, la dosis no se administra. Se propuso que la distribución de las tres dosis en el tiempo fuera lo más simple posible sin intención de que coincidiera con los datos reales. Los resultados de esta ejecución del modelo confirman que las vacunas son completamente independientes de la muerte, es decir, el ACM en todas las categorías de vacunación es el mismo, como se ilustra en el panel izquierdo de la Figura 4 , lo que sirve como una comprobación de que el modelo es correcto.
Ahora, agreguemos la HVE al modelo asumiendo que las personas con mala salud (que morirán pronto) tienen una menor probabilidad de aceptar la intervención, ya sea porque no pueden o no quieren llegar a un sitio de vacunación o porque dudan en vacunarse. Para tener esto en cuenta, el modelo se modificó utilizando la siguiente condición: si se debe administrar una dosis de vacuna a una persona que morirá dentro de las 26 semanas, la dosis se administrará solo con una probabilidad reducida de (1-p) , donde p indica la magnitud de la HVE . Este mecanismo simple se implementa para las tres dosis y para tres valores de p: 0,25, 0,5 y 0,75 (ver paneles 2-4 en la Figura 4 ). El interesante patrón doble triangular, similar al observado en las Figuras 1 y 2 , es fácilmente visible. Nótese que es muy fácil implementar la HVE en este modelo porque las muertes se modelan primero (por lo tanto, en el momento de la vacunación, ya “sabemos” quién morirá dentro de las 26 semanas).
Destacamos que el modelo tiene solo dos parámetros importantes: la duración de la HVE (26 semanas) y la magnitud de la HVE (p). El tamaño de la cohorte y la prevalencia de las tres dosis coincidieron aproximadamente con el grupo de estudio. También vale la pena señalar que los grandes efectos observados se deben a la cancelación de la administración de solo el 0,6-1,9% de las dosis debido a la HVE (dependiendo de la magnitud de la HVE y la población elegible para la dosis respectiva).
Discusión
Los resultados del análisis presentado revelaron varios patrones peculiares de la relación entre la ACM y el estado de vacunación. Los datos presentados obvian que el estado de vacunación tiene una asociación profunda con la ACM, que va mucho más allá del posible efecto protector contra la muerte relacionada con COVID, especialmente en los períodos de baja incidencia de COVID. Utilizando un modelo simple, argumentamos que este patrón puede atribuirse, en gran medida, a la HVE.
Se pueden proponer varias explicaciones para explicar este efecto. Una posible explicación podría sugerir que las secuelas a largo plazo de la COVID-19 llevaron a una mortalidad excesiva entre las personas no vacunadas porque era más probable que tuvieran antecedentes de infección por COVID-19 que el grupo vacunado. Sin embargo, si las secuelas a largo plazo desempeñaran un papel, esto (a) tendría que ser masivo para explicar la magnitud de la diferencia observada y (b) todavía deberíamos ver algún exceso de mortalidad en el período de baja COVID. Sin embargo, este no es el caso, ya que la mortalidad combinada total de las poblaciones vacunadas y no vacunadas en el período de baja COVID en toda la República Checa se mantuvo más o menos en línea con los años anteriores, como corroboran los datos de EUROSTAT [9] . Esta hipótesis de “COVID prolongada” puede ser, por supuesto, responsable de una parte del efecto observado, pero es poco probable que conduzca a las diferencias en ACM de la magnitud observada.
Dejando de lado por ahora los periodos de COVID-19 bajo y alto, podemos ver otra evidencia de HVE: el ACM más bajo siempre se puede observar en los grupos vacunados con una nueva dosis hace menos de 4 semanas (“recién vacunados”), lo que indica que la parte más sana de la población tomó la siguiente dosis de la vacuna, mientras que aquellos con peor salud se concentraron en el grupo que permaneció con el estado de no vacunado/dosis previa.
Los períodos en que comenzaron las campañas de vacunación sucesivas, tanto para la vacunación primaria como para la de refuerzo, coincidieron con períodos de alta incidencia de COVID y se podría argumentar que es difícil distinguir con precisión entre la alta incidencia de COVID y la verdadera protección conferida por la vacuna. Esta es una objeción legítima; por otro lado, el mismo patrón también se puede ver en la dosis 4 (Figura S5 del Suplemento), que se publicó en un período de muy baja incidencia de COVID: se puede observar nuevamente el patrón de “recién vacunados” que tiene el ACM más bajo. Los grupos de “recién vacunados” también tienen la mortalidad más baja en períodos de baja incidencia de COVID, aunque la vacunación podría no haber tenido ningún efecto protector verdadero inmediato. Además, considerando la proporción de muertes relacionadas con COVID en el ACM, no pueden explicar el tamaño del efecto observado incluso en períodos de alta incidencia de COVID. Todo esto respalda la explicación de que las personas frágiles (de manera consistente en todas las dosis, períodos, grupos de edad y conjuntos de datos) tenían menos probabilidades de recibir la siguiente dosis de la vacuna.
Se podría argumentar que la HVE era muy poco probable al comienzo de la vacunación, cuando los grupos más vulnerables (como los clientes de residencias de ancianos) fueron priorizados para la vacunación y prácticamente todas estas personas estaban vacunadas, por lo que no era posible la HVE en estos grupos. Esto es muy cierto; por otro lado, la proporción de estas personas en toda la población es muy baja y, aunque estos grupos tenían un riesgo desproporcionadamente alto de mortalidad (no solo) relacionada con COVID, sus números no fueron suficientes para cambiar completamente las tendencias de toda la población. Sin embargo, podrían haber afectado a los resultados; esta podría ser, por ejemplo, una de las explicaciones de que la proporción de ACM no vacunados:vacunados fuera mayor en el período de baja COVID que en el pico de la segunda ola de COVID-19 (enero-marzo de 2021) cuando comenzó la vacunación y una gran mayoría de las personas vacunadas estaban enfermas [5] .
Hasta ahora, la HVE no se ha discutido mucho en la literatura científica relacionada con las vacunas COVID-19. Hasta donde sabemos, además del único estudio centrado en esta cuestión informado desde Hungría [3] , esta cuestión se planteó recientemente solo en cartas a los editores en el New England Journal of Medicine [4] y en nuestra carta antes mencionada [5] . Sin embargo, hasta donde sabemos, el estudio presentado proporciona la mejor y más sólida ilustración de la HVE en la vacunación COVID-19 hasta el momento. Las implicaciones son enormes: en base a nuestros resultados, proponemos que la evaluación de la fragilidad basal entre las poblaciones vacunadas y no vacunadas (en nuestro caso, las diferencias observadas en los períodos de baja COVID) se debe tener en cuenta al evaluar la efectividad de la vacuna en estudios de observación.
Limitaciones y fortalezas
Nuestros conjuntos de datos no contienen información sobre la causa de muerte, por lo que no sabemos cuántas muertes en nuestros conjuntos de datos estaban relacionadas con COVID. Por otro lado, esta información no es necesaria para ilustrar los efectos del estado de vacunación en la ACM. También es necesario señalar que la dependencia de la ACM en el estado de vacunación encontrada en nuestro estudio no implica que las muertes relacionadas con COVID sigan el mismo patrón. Además, la magnitud de HVE probablemente esté estrechamente asociada con el porcentaje de individuos no vacunados en la cohorte. Por estas razones, nuestros resultados no deben usarse para el recálculo directo de la efectividad de la vacuna contra la muerte relacionada con COVID, especialmente no en otras poblaciones.
Por otra parte, el uso de ACM evade los sesgos conocidos encontrados en los estudios de observación que abordan la vacunación contra la COVID-19, como la clasificación errónea de la causa de muerte (debido a COVID/por COVID) o la realización desigual de pruebas en poblaciones vacunadas/no vacunadas.
No tenemos motivos para creer que los dos conjuntos de datos contengan errores significativos. Los datos se publicaron oficialmente tras una solicitud de la Ley de Libertad de Información (FOIA). Ambos conjuntos de datos son muy grandes y contienen registros individuales, por lo que sería fácil encontrar posibles errores. Ambos conjuntos de datos son independientes (las dos empresas son competidoras), pero los patrones son casi idénticos. Los datos contienen más de una quinta parte de toda la población checa, lo que excluye la posibilidad de que los efectos observados sean artefactos estadísticos. Por estas razones, los datos y las conclusiones extraídas de ellos son muy sólidos.
Conclusión
En dos conjuntos de datos independientes, demostramos un patrón paradójico de fuerte asociación entre el estado de vacunación contra la COVID-19 y la ACM, incluso en períodos en los que casi no hubo muertes relacionadas con la COVID-19 en la población. Las personas vacunadas (especialmente las que se vacunaron poco después) presentan una ACM mucho menor que las no vacunadas, incluso en períodos de baja incidencia de COVID-19. Este patrón no se puede explicar por la verdadera eficacia de las vacunas para prevenir las muertes relacionadas con la COVID-19. Hemos demostrado que la asociación observada se puede explicar por la HVE (un sesgo en el que las personas con peor salud tienen una menor probabilidad de recibir la vacuna/su dosis adicional) y presentamos un modelo muy simple de HVE, que replica bien el patrón observado en los datos reales.
Las asociaciones anteriores se demostraron en dos grandes conjuntos de datos independientes obtenidos de compañías de seguros de salud checas que cubren a más de una quinta parte de la población. Los conjuntos de datos consistían en registros individuales de todos los clientes con información sobre la semana de nacimiento y, si correspondía, las semanas de todos los eventos de vacunación contra la COVID y de muerte por cualquier causa. Es muy poco probable que los datos contengan errores o artefactos.
Este estudio indica que los datos de observación sobre la efectividad de la vacuna contra la COVID-19 deben interpretarse con gran cautela, ya que la fragilidad de referencia de cohortes con diferentes estados de vacunación puede diferir sustancialmente debido a la HVE. El hecho de no tener en cuenta la HVE en los estudios de observación básicamente invalida cualquier estimación de la efectividad de la vacuna en dichos estudios.
Expresiones de gratitud
Declaraciones de intereses en conflicto
Los autores declaran los siguientes intereses financieros/relaciones personales que pueden considerarse como posibles conflictos de intereses: TF y JJ son miembros de la Asociación SMIS (Sdruzeni mikrobiologu, imunologu a statistiku/Asociación de Microbiólogos, Inmunólogos y Bioestadísticos) en la República Checa. Sin embargo, nunca han recibido ningún incentivo financiero o de otro tipo que pudiera sesgar esta investigación y no tienen intereses financieros que revelar.
Fondos
Esta investigación no recibió ninguna subvención específica de agencias de financiación de los sectores público, comercial o sin fines de lucro.
Intercambio de datos
Ambos conjuntos de datos y el modelo están disponibles en https://github.com/PalackyUniversity/hve .
Contribuciones del autor
ToF: Conceptualización, investigación, análisis de datos, visualización, interpretación de datos, metodología, redacción—borrador original, redacción—revisión y edición; AB: Adquisición de datos, recursos, administración de proyectos, redacción—revisión y edición; TaF: Investigación, análisis de datos, software, validación, visualización, redacción—revisión y edición; JJ: Búsqueda bibliográfica, interpretación de datos, redacción—borrador original, redacción—revisión y edición.
Apéndice Materiales complementarios (1)
Referencias
Ioannidis, JPA
Sobreestimación y subestimación de las muertes por COVID-19
Eur J Epidemiol. 2021; 36 : 581-588
Fung, K. ∙ Jones, M. ∙ Doshi, P
Fuentes de sesgo en los estudios observacionales sobre la efectividad de la vacuna contra la COVID-19
J Eval Clin Pract. 2024; 30 :30-36
Pálinkás, A. ∙ Sándor, J
Eficacia de la vacunación contra la COVID-19 en la prevención de la mortalidad por todas las causas entre los adultos durante la tercera ola de la epidemia en Hungría: estudio de cohorte retrospectivo a nivel nacional
Vacunas (Basilea). 2022; 10 : 1009
Høeg, TB ∙ Duriseti, R. ∙ Prasad, V
Posible “sesgo de vacuna sana” en un estudio de la vacuna BNT162b2 contra la COVID-19
N Inglés J Med. 2023; 389 :284-286
Fürst, T. ∙ Straka, R. ∙ Janošek, J
Efecto del vacunado sano: un sesgo que no debe olvidarse en los estudios observacionales de vacunación contra la COVID-19
Médico Interno Arco Pol. 2024; 134 :16634
Vencálek, O. ∙ Beran, J. ∙ Fürst, T. …
Se necesitan más análisis para evaluar la efectividad de la protección de las vacunas y la infección previa contra la variante ómicron del SARS-CoV-2
J Infect Dis. 2022; 226 :942-943
Oficina de Estadística Checa. Número de muertes: informes semanales y mensuales (en checo). https://www.czso.cz/csu/czso/obypz_cr ; 2022. [consultado el 20 de septiembre de 2023]
Nuestro mundo en datos. Pandemia de coronavirus (COVID-19). https://ourworldindata.org/coronavirus ; 2023 [consultado el 20 de septiembre de 2023]
EUROSTAT. Exceso de mortalidad: estadísticas. https://ec.europa.eu/eurostat/statistics-explained/index.php?title=Excess_mortality_-_statistics ; 2023 [consultado el 20 de septiembre de 2023]