COVID-19 data and modeling: We need to learn from and act on our experiences

This issue of the Journal includes an important paper by Xia and colleagues (Xia et al., 2024) describing recent pandemic experiences modeling the disease. Throughout the pandemic, health officials and government leaders showed graphs of projected epidemic curves, and alternative curves depending on whether a particular intervention like physical distancing or school closures was implemented.

Underlying these projections are computer simulation models. Xia et al. (2024) surveyed and characterized the variety of these models for six provinces where information was available. There was some informal information sharing among these modelers and regular cross-country virtual conversations convened by the Public Health Agency of Canada (PHAC). Still, important lessons merit being more widely shared, for which this CJPH article provides an important starting point.

As in all models, the veracity of the projections depends critically on the quality of the data on which they are based, and the methodologies applied. Canada is well endowed with infectious disease modeling expertise, primarily based in universities. However, the data needed to support these modeling efforts were too often limited. In many cases, the data did not exist; for example, at the start of the pandemic, accurate counts of new infections, hospitalizations, and deaths due to COVID, as well as the availability of ventilators and personal protective equipment (PPE) were unavailable.

In other cases, the data existed digitally but were not shared, even within provinces and the same or closely affiliated agencies. For example, data in one agency on individuals infected could have been linked to data in another agency that was capturing the virus’ genotype at the individual level, but were not shared—thus depriving modelers of critical information on the virulence of evolving mutations. Another example was the failure to link detailed individual-level data on infections, vaccinations, and hospital admissions within the same province. Doing so would have enabled inputs and analysis greatly improving mathematical modeling.

Notwithstanding repeated claims that health care is a provincial responsibility, the federal government constitutionally has important powers as well and plays an overarching and coordinating role as health is a shared jurisdiction. Specifically for health crises like the pandemic, the Constitution grants the federal government powers regarding quarantine.

The federal government played a major role in procuring vaccines and test kits, and providing large cash transfers to individuals and businesses to help them bear the economic hardships of lockdowns and other measures intended to stem pandemic spread. Statistics Canada’s legislated authorities and flexible data collection capabilities were available, though underutilized.

The federally funded COVID-19 Immunity Task Force (COVID-19 Immunity Task Force, n.d.) played a key role, including producing seroprevalence estimates, albeit mostly pulling data from various existing sources including blood donations, cohort studies, and lab tests, sources that were not designed to provide unbiased surveillance. The Canadian COVID-19 Antibody and Health Survey (CCAHS) (Statistics Canada, 2023) made extensive efforts to provide unbiased sampling, an area that merits major improvements.

PHAC further has important responsibilities regarding infectious disease outbreaks, including modeling. This and other information are required to brief the federal Minister of Health and Cabinet on how the pandemic was likely to evolve. However, even though the provinces signed agreements more than a decade ago to share key data, such as individual-level data on cases of infection, these data often did not flow, or were seriously incomplete.

It is critical to understand why these data were not available or accessible. One reason is “privacy chill”. Federal and provincial privacy legislation clearly allows these kinds of data to flow, especially in an emergency like the COVID-19 pandemic. As the federal privacy commissioner noted in 2020, given appropriate security and confidentiality provisions, “During a public health crisis, privacy laws still apply, but they are not a barrier to appropriate information sharing” (Office of the Privacy Commissioner of Canada, 2020). Too often, however, data custodians hide behind the fear of a privacy breach and block these data flows. Other reasons may be bureaucratic inertia and onerous paperwork requirements for data sharing that can take months or longer. A less charitable reason would be ego or turf to protect a group’s access and control over a particular data set.

The Xia et al. article notes among its key takeaways that “surveillance systems would benefit from improved infrastructure to help facilitate linkage across harmonized databases” with “established protocols to facilitate data access and sharing”. These are critical and fundamental. The first is double-barreled: there is a need for linking individual-level records such as vaccination + infection + hospitalization + virus genotype. These linked data also need to be harmonized, based on the same concepts and definitions.

Following the report of the expert group on a pan-Canadian Health Data Strategy (Government of Canada, 2022), ministers of health endorsed the Interoperability Roadmap published by Health Infoway Inc. (Canada Health Infoway, 2023) that, if fully implemented, would realize these recommendations. However, after decades of equivalent ministerial recommendations, Canada has still not achieved these objectives. The pandemic experience provides a critical impetus for much faster progress in this area.

Xia et al. (2024) as modelers have experienced these failings directly; they could be more forceful in describing them and, more importantly, indicating how much harm these data failings have caused. As their article gently states, “Provincial modelling efforts during the COVID-19 pandemic were tailored to local contexts and modulated by available resources”. Less gently, the authors could have said their modeling efforts were far too limited by poor quality data, privacy chills inhibiting perfectly legal and privacy-preserving data sharing, federal-provincial frictions if not distrust, and the lack of longer-term vision on the part of Canada’s major research funding agencies.

Further, the authors’ statement that “There was no ‘one size fits all’ modelling approach or team structure, highlighting the distinct provincial needs for pandemic decision-making” is rather anodyne. Yes, there were important differences among provinces reflecting varying opportunities and already established groups, pre-existing patterns of contacts, and personal relationships. Still, lessons could be drawn about which modeling approaches and team structures were most effective.

To ensure the needed changes, Canada requires an explicit and direct account not only of modeling successes, but also of missed opportunities. An inquiry like that following SARS (Government of Canada, 2003) and recommended more recently (BMJ, 2023) is needed. The issues raised in this article, in particular inadequacies in data and jurisdictional barriers, have real and important impacts on modeling, but equally importantly, on the policies adopted and people’s lives.

As with any kind of modeling, the details of the model should align with its objectives and with questions it is intended to address. With the pandemic, these objectives and questions started simply but evolved:

1. How bad is the spread of infection likely to be?

2. Can we use simple travel restrictions to prevent the disease coming to our region?

3. How many people are going to end up in hospital or die?

4. Are we going to be short on critical hospital capacity like ventilators and PPE?

5. Are the infections affecting some population groups much more than others?

6. If so, what are the most important characteristics of these groups?

7. How is the virus evolving genetically?

8. What is the likely benefit of a given intervention, such as mask mandates, lockdowns, closures, or offering vaccinations first to priority populations?

9. What are the potential economic and social harms for each of these interventions?

This list of questions is not exhaustive but provides criteria for evaluating modeling efforts. The questions at the end of the list are the most challenging and were least addressed during the pandemic. As the authors note, “epidemics were marked by wide heterogeneity in transmission risk across social determinants of health, but rarely did provinces collect information on these individual-level determinants” (Xia et al., 2024). This was a major gap in the data and subsequent pandemic modeling. Modeling that would allow for more granular targeting of public health interventions, e.g. by occupation, venue, and smaller geographic areas, could have saved lives and reduced economic and societal impacts. Relatedly, there is a need to diversify modelers’ disciplinary backgrounds beyond biomedical expertise. This would allow not only health aspects of the pandemic but also its economic, sociological, and political impacts to be addressed.

The article does not address the federal role in modeling and data flows. Nation-wide modeling was constrained by limited inter- and federal-provincial data sharing, and inadequate federal funding for relevant research and data infrastructure. Based on many years of funding, Canada had a cadre of skilled epidemiologists and mathematical modelers who willingly pivoted from their usual activities to support the modeling described in the article. However, the academic tradition and the funding windows available have largely generated “cottage industry” scale modeling. In contrast, fields like cosmology have long had the funding for much larger-scale modeling. For economic and tax policy, there is an ongoing and substantially supported nexus of data collection (especially Statistics Canada and Canada Revenue Agency) and data analytics and modeling in the Bank of Canada and Department of Finance. In the United States, motivated in part by concerns about germ warfare, there have been decades of ongoing multi-million-dollar funding for “digital twins” and super-computer modeling of their population (Bhattacharya et al., 2023).

A recent blue-ribbon report on Canada’s research funding structures recommended major changes (Government of Canada, 2023), including broader and more strategic “horizon scanning” to determine areas for priority research funding, as well as breaking down the barriers between operating and infrastructure costs. This is essential for large-scale disease modeling capacity, as this requires ongoing funding not only of students and post docs, but also of software developers and data scientists. Fortunately, the recent federal budget looks to have endorsed this Report (Government of Canada, 2024a, 2024b; p. 171).

The importance of high-quality emergency preparedness tends to wane after each acute emergency event. The art of the possible is to plan, fund, and implement the requisite data flows and analytical capacity for such emergency preparedness in a dual use mode: the tools will be there when needed in an emergency, but in the interim can serve many other important uses. This is possible with the kinds of data and modeling needed if thoughtfully designed. Canada’s current research funding structures are not able to undertake this kind of strategic thinking, though this could be part of the reforms envisaged by the blue-ribbon report (Government of Canada, 2023) and recent federal budget (Government of Canada, 2024a, 2024b).

In sum, the current article by Xia et al. (2024) serves as the starting point for a broader discussion of how best Canada can prepare itself for future pandemics and similar emergency events.

Postscript: On June 6, 2024, the federal minister of health introduced Bill C-72 to outlaw “data blocking” for personal health information by software vendors (Parliament of Canada, 2024). This is very welcome. However, the crucial details remain to be embodied in regulations. The legislation’s definition of health information makes no reference to “de-personalized” data. Unfortunately, the accompanying news release does (Government of Canada, 2024a, 2024b). Such a restriction on the flows of person-level health information would destroy much of the bona fide pandemic modeling by authorized analysts, and health services and health care quality analysis more generally.

Michael Wolfson, PhD

Adjunct Professor, Faculties of Medicine and Law, University of Ottawa

Éditorial invité

Ce numéro de la Revue inclut un article important de Xia et collègues (Xia et al., 2024) qui décrit les récentes expériences de modélisation de la maladie durant la pandémie. Tout au long de la pandémie, les autorités sanitaires et les chefs du gouvernement ont présenté des courbes épidémiques projetées et des courbes de rechange illustrant les effets de la mise en œuvre d’interventions particulières, comme la distanciation physique ou la fermeture d’écoles.

De telles projections reposent sur des modèles de simulation informatisés. Xia et collègues (2024) ont étudié et caractérisé les variétés de ces modèles pour six provinces où ces informations étaient disponibles. Il y a eu des échanges d’informations informels entre les modélisateurs et modélisatrices et, périodiquement, des conversations virtuelles pancanadiennes organisées par l’Agence de la santé publique du Canada (ASPC). Néanmoins, d’importantes leçons méritent d’être partagées à plus grande échelle, et le présent article de la RCSP représente un important point de départ à cet égard.

Comme dans tous les modèles, la véracité des projections dépend beaucoup de la qualité des données sur lesquelles elles s’appuient et de la méthode employée. Le Canada est doté d’une solide expertise en modélisation des maladies infectieuses, qui réside principalement dans ses universités. Cependant, les données nécessaires pour appuyer les efforts de modélisation ont trop souvent été limitées. Dans bien des cas, elles n’existaient pas; au début de la pandémie par exemple, il n’y avait pas de chiffres exacts sur les nouveaux cas d’infection, les hospitalisations et les décès dus à la COVID, ni sur la disponibilité des ventilateurs et de l’équipement de protection individuelle (EPI).

Dans d’autres cas, les données existaient sous forme numérique, mais n’ont pas été partagées, même à l’intérieur des provinces et des organismes ou entre des organismes étroitement affiliés. Par exemple, les données d’un organisme sur les personnes infectées auraient pu être maillées aux données d’un autre organisme sur les génotypes du virus à l’échelle individuelle, mais elles n’ont pas été partagées, ce qui a privé les modélisateurs et modélisatrices d’informations essentielles sur la virulence des nouvelles mutations. Autre exemple : l’absence de maillage entre les données individuelles détaillées sur les infections, les vaccinations et les hospitalisations dans une même province. Un tel maillage aurait permis des intrants et des analyses qui auraient grandement amélioré la modélisation mathématique.

Malgré les allégations répétées selon lesquelles les soins de santé sont de compétence provinciale, la Constitution accorde aussi d’importants pouvoirs au gouvernement fédéral, lequel joue un rôle primordial de coordination, car la santé est une compétence partagée. Particulièrement lors des crises sanitaires comme la pandémie, la Constitution accorde au gouvernement fédéral le pouvoir de décréter des quarantaines.

Le gouvernement fédéral a joué un rôle majeur en procurant les vaccins et les nécessaires pour tests et en octroyant d’importants transferts monétaires aux particuliers et aux entreprises pour les aider à supporter les coûts économiques des confinements et des autres mesures visant à endiguer la propagation de la pandémie. Les pouvoirs conférés par la loi à Statistique Canada et les capacités de collecte de données polyvalentes de ce ministère étaient disponibles, mais ils ont été sous-utilisés.

Le Groupe de travail sur l’immunité face à la COVID-19 (COVID-19 Immunity Task Force, n.d.) financé par le fédéral a joué un rôle clé, notamment en produisant des estimations de la séroprévalence, quoique principalement en extrayant des données de diverses sources existantes (les dons de sang, les études de cohorte et les essais en laboratoire) qui n’étaient pas conçues pour assurer une surveillance impartiale. Dans le cadre de l’Enquête canadienne sur la santé et les anticorps contre la COVID-19 (ECSAC) (Statistics Canada, 2023), de grands efforts ont été déployés pour fournir un échantillonnage impartial, un aspect qui nécessite des améliorations majeures.

L’ASPC a aussi d’importantes responsabilités à l’égard des éclosions de maladies infectieuses, dont la modélisation. Ces informations, et d’autres, étaient requises pour informer le ministre fédéral de la Santé et le Cabinet de l’évolution probable de la pandémie. Toutefois, même si les provinces ont signé des ententes il y a plus de dix ans sur le partage des données essentielles, comme les données individuelles sur les cas d’infection, ces données n’ont souvent pas circulé du tout, ou seulement sous une forme très incomplète.

Il est indispensable de comprendre pourquoi ces données n’ont pas été disponibles ou accessibles. L’une des raisons est la « frilosité en matière de divulgation ». Les lois fédérales et provinciales sur la protection de la vie privée permettent clairement la circulation de telles catégories de données, surtout lors d’une urgence comme la pandémie de COVID-19. Comme l’a indiqué en 2020 le commissaire fédéral à la protection de la vie privée, si l’on prend les dispositions de sécurité et de confidentialité appropriées, « En situation de crise sanitaire, les lois sur la protection des renseignements personnels sont toujours en vigueur sans faire obstacle à une communication de renseignements appropriée » (Office of the Privacy Commissioner of Canada, 2020). Trop souvent toutefois, les dépositaires des données se cachent derrière la crainte d’une atteinte à la vie privée et empêchent le flux de ces données. Les autres raisons possibles sont l’inertie bureaucratique et les lourdeurs administratives, qui ont pu retarder le partage des données de plusieurs mois ou même plus. Une explication moins charitable est la possibilité que des jeux de données particuliers aient fait l’objet de querelles d’égo ou de chasses gardées visant à protéger l’accès et le contrôle d’un groupe.

L’article de Xia et collègues indique parmi ses messages à retenir que « les systèmes de surveillance bénéficieraient d’infrastructures améliorées qui facilitent les maillages entre des bases de données harmonisées » avec « des protocoles établis pour faciliter l’accès aux données et leur partage ». Ces deux aspects sont essentiels et fondamentaux. Le premier est double : il faut mailler les dossiers individuels comme ceux sur les vaccinations + les infections + les hospitalisations + les génotypes du virus. Ces données maillées doivent aussi être harmonisées, en fonction des mêmes concepts et définitions.

À la suite du rapport du groupe d’experts sur une Stratégie pancanadienne de données sur la santé (Government of Canada, 2022), les ministres de la Santé ont avalisé la « feuille de route de l’interopérabilité » publiée par l’Inforoute Santé du Canada (Canada Health Infoway, 2023) qui, si elle était pleinement appliquée, concrétiserait ces recommandations. Après des dizaines d’années de recommandations ministérielles équivalentes toutefois, le Canada n’a toujours pas atteint ces objectifs. L’expérience de la pandémie donne l’élan nécessaire à la réalisation de progrès beaucoup plus rapides dans ce domaine.

Xia et collègues (2024), en tant que modélisateurs et modélisatrices, ont directement subi ces dysfonctionnements; ils auraient pu les décrire avec plus de conviction cependant et, surtout, indiquer combien de torts ont été causés par ces défaillances dans les données. Comme leur article l’énonce délicatement, « Les efforts de modélisation provinciaux au cours de la pandémie de COVID-19 étaient adaptés au contexte local et modulés par les ressources disponibles. » Moins délicatement, Xia et collègues auraient pu dire que leurs efforts de modélisation ont été excessivement entravés par la mauvaise qualité des données; par la frilosité en matière de divulgation, qui empêche un partage de données pourtant parfaitement légal et sensible à la protection de la vie privée; par les frictions, sinon la méfiance, entre le fédéral et les provinces; et par l’absence d’une vision à plus long terme chez les grands organismes canadiens de financement de la recherche.

Plus encore, la déclaration de Xia et collègues selon laquelle « L’absence d’une approche de modélisation ou de structure d’équipe “universelle” a mis en relief les besoins provinciaux distincts en matière de décisions liées à la pandémie » est plutôt anodine. Oui, il y a eu d’importantes différences entre les provinces en raison de la diversité de leurs possibilités d’action et des groupes déjà établis, des modes de communication préexistants et des relations personnelles. Néanmoins, il aurait été possible de tirer des leçons sur les approches de modélisation et les structures d’équipes qui ont été les plus efficaces.

Pour que les changements nécessaires soient apportés, le Canada a besoin d’un compte rendu explicite et direct non seulement des réussites de la modélisation, mais aussi des occasions manquées. Une enquête comme celle qui a suivi le SRAS (Government of Canada, 2003) et celle recommandée plus récemment (BMJ, 2023) s’impose. Les problèmes soulevés dans l’article, en particulier les faiblesses des données et les conflits de compétence, ont des effets réels et importants sur la modélisation, mais aussi sur les politiques adoptées et la vie des gens.

Comme dans tout type de modélisation, les détails du modèle devraient être alignés sur ses objectifs et sur les questions qu’il est censé aborder. Avec la pandémie, ces objectifs et ces questions ont commencé simplement, mais ont évolué :

1. Quelle pourrait être l’ampleur de la propagation de l’infection?

2. Pouvons-nous imposer de simples restrictions des déplacements pour empêcher la maladie d’entrer dans notre région?

3. Combien de personnes seront-elles hospitalisées ou vont-elles mourir?

4. Allons-nous manquer de fournitures hospitalières critiques comme les ventilateurs et l’EPI?

5. Les infections affectent-elles certaines populations beaucoup plus que d’autres?

6. Si oui, quelles sont les principales caractéristiques de ces groupes?

7. Comment le virus évolue-t-il génétiquement?

8. Quel est l’avantage probable d’une intervention donnée, comme le port du masque obligatoire, les confinements, les fermetures ou l’offre de vaccins aux populations prioritaires en premier?

9. Quels sont les préjudices économiques et sociaux potentiels de chacune de ces interventions?

La liste n’est pas exhaustive, mais elle fournit des critères d’évaluation des efforts de modélisation. Les questions au bas de la liste sont les plus difficiles, et ce sont celles qui ont été le moins abordées pendant la pandémie. Comme l’indiquent Xia et collègues, « les épidémies ont été marquées par la grande hétérogénéité du risque de transmission pour chacun des déterminants sociaux de la santé, mais les provinces ont rarement recueilli des informations sur ces déterminants individuels » (Xia et al., 2024). C’était une lacune importante dans les données et dans la modélisation ultérieure de la pandémie. Une modélisation permettant un ciblage plus granulaire des mesures d’intervention en santé publique, par exemple selon la profession, le type d’établissement et des zones géographiques réduites, aurait pu sauver des vies et réduire les répercussions économiques et sociétales. Dans le même ordre d’idées, il faudrait diversifier les antécédents disciplinaires des modélisateurs et modélisatrices au-delà de leurs compétences biomédicales. Cela permettrait d’aborder non seulement les aspects sanitaires de la pandémie, mais aussi ses effets économiques, sociologiques et politiques.

L’article n’aborde pas le rôle du fédéral dans la modélisation et les flux des données. La modélisation à l’échelle nationale a été restreinte par le partage limité des données dans l’administration fédérale et avec les provinces et par le financement fédéral insuffisant de la recherche pertinente et des infrastructures de données. Après de nombreuses années de financement, le Canada disposait d’un personnel cadre d’épidémiologistes et de modélisateurs et modélisatrices mathématiques qualifiés qui se sont volontairement détournés de leurs activités habituelles pour appuyer la modélisation décrite dans l’article. Cependant, les traditions universitaires et les fenêtres de financement disponibles ont dans une large mesure produit une modélisation à l’échelle « artisanale ». En revanche, des domaines comme la cosmologie reçoivent depuis longtemps le financement nécessaire pour faire de la modélisation à beaucoup plus grande échelle. Pour les politiques économiques et fiscales, il existe un noyau continu et bien financé d’organes de collecte de données (surtout Statistique Canada et l’Agence du revenu du Canada) et d’organes d’analyse et de modélisation de données à la Banque du Canada et au ministère des Finances. Aux États-Unis, il y a eu des dizaines d’années d’investissements continus de plusieurs millions de dollars dans la modélisation de la population avec des « jumeaux numériques » et des super-ordinateurs, alimentés en partie par la crainte d’une guerre biologique (Bhattacharya et al., 2023).

Le récent rapport d’un groupe d’experts sur les structures de financement de la recherche du Canada a recommandé des changements majeurs (Government of Canada, 2023), dont une « vigie technologique » élargie et plus stratégique pour déterminer les domaines prioritaires de financement de la recherche, ainsi que l’abolition des cloisons entre les coûts de fonctionnement et d’infrastructure. Ces recommandations sont essentielles à une capacité de modélisation des maladies à grande échelle, qui nécessite un financement continu non seulement d’étudiants et de chercheurs de niveau postdoctoral, mais aussi de développeurs de logiciels et d’experts en science des données. Heureusement, le récent budget fédéral semble appuyer ce rapport (Government of Canada, 2024a, 2024b; p. 171).

L’importance d’une préparation aux urgences de haute qualité tend à décliner après chaque événement d’extrême urgence. L’art du possible consiste à planifier, à financer et à mettre en œuvre les flux de données et la capacité d’analyse nécessaires à la préparation aux urgences en faisant un double usage des outils : ils seront là quand nous en aurons besoin en situation d’urgence, mais entre-temps, ils peuvent avoir beaucoup d’autres usages importants. C’est possible, avec les types de données et la modélisation nécessaires, si ces outils sont judicieusement conçus. Les structures actuelles de financement de la recherche au Canada ne sont pas en mesure d’effectuer ce genre de réflexion stratégique, mais cela pourrait faire partie des réformes envisagées dans le rapport du groupe d’experts (Government of Canada, 2023) et dans le récent budget fédéral (Government of Canada, 2024a, 2024b).

En somme, l’article actuel de Xia et collègues (2024) est le point de départ d’une discussion plus large des meilleures façons pour le Canada de se préparer aux pandémies futures et aux situations d’urgence semblables.

Post-scriptum: Le 6 juin 2024, le ministre fédéral de la Santé a déposé le projet de loi C-72 pour proscrire le « blocage de données » par les fournisseurs de logiciels en ce qui concerne les renseignements personnels sur la santé (Parliament of Canada, 2024). C’est une très bonne chose. Il reste cependant des détails essentiels à incorporer dans la réglementation. La définition des renseignements sur la santé dans le projet de loi ne fait aucune mention des données « dépersonnalisées ». Malheureusement, le communiqué qui l’accompagne, lui, en fait mention (Government of Canada, 2024a, 2024b). Une telle restriction des flux de renseignements personnels sur la santé détruirait en grande partie la modélisation pandémique exécutée de bonne foi par des analystes autorisés et, de façon plus générale, les analyses de la qualité des services de santé et des soins de santé.

Michael Wolfson, Ph.D.

Professeur auxiliaire, Facultés de la médecine et de la loi, Université d’Ottawa