Abstract
OBJECTIVE: In 2014/2015, Public Health Ontario developed disease-specific, cumulative sum (CUSUM)-based statistical algorithms for detecting aberrant increases in reportable infectious disease incidence in Ontario. The objective of this study was to determine whether the prospective application of these CUSUM algorithms, based on historical patterns, have improved specificity and sensitivity compared to the currently used Early Aberration Reporting System (EARS) algorithm, developed by the US Centers for Disease Control and Prevention.
METHOD: A total of seven algorithms were developed for the following diseases: cyclosporiasis, giardiasis, influenza (one each for type A and type B), mumps, pertussis, invasive pneumococcal disease. Historical data were used as baseline to assess known outbreaks. Regression models were used to model seasonality and CUSUM was applied to the difference between observed and expected counts. An interactive web application was developed allowing program staff to directly interact with data and tune the parameters of CUSUM algorithms using their expertise on the epidemiology of each disease. Using these parameters, a CUSUM detection system was applied prospectively and the results were compared to the outputs generated by EARS. The outcome was the detection of outbreaks, or the start of a known seasonal increase and predicting the peak in activity.
RESULTS: The CUSUM algorithms detected provincial outbreaks earlier than the EARS algorithm, identified the start of the influenza season in advance of traditional methods, and had fewer false positive alerts. Additionally, having staff involved in the creation of the algorithms improved their understanding of the algorithms and improved use in practice.
CONCLUSION: Using interactive web-based technology to tune CUSUM improved the sensitivity and specificity of detection algorithms.
Key Words: CUSUM, EARS, data driven, aberration detection, interactive web application
Résumé
OBJECTIF: En 2014–2015, Santé publique Ontario a créé des algorithmes statistiques à somme cumulée pour différentes maladies afin de détecter les augmentations aberrantes de l’incidence de maladies infectieuses à déclaration obligatoire en Ontario. Notre étude visait à déterminer si l’application prospective de ces algorithmes à somme cumulée, d’après les tendances passées, améliore leur spécificité et leur sensibilité comparativement à l’algorithme Early Aberration Reporting System (EARS) mis au point par les Centers for Disease Control and Prevention des États-Unis, qui est actuellement utilisé.
MÉTHODE: En tout, sept algorithmes ont été créés pour les maladies suivantes: cyclosporose, giardiase, influenza (un chacun, pour les types A et B), oreillons, coqueluche et maladie invasive à pneumocoque. Les données historiques ont servi de base de référence pour évaluer les éclosions connues. Des modèles de régression ont été utilisés pour modéliser les cycles saisonniers, et la somme cumulée a été appliquée à la différence entre les numérations observées et attendues. On a développé une application Web interactive permettant au personnel du programme d’interagir directement avec les données et de régler les paramètres des algorithmes à somme cumulée d’après ses connaissances spécialisées de l’épidémiologie de chaque maladie. À l’aide de ces paramètres, on a prospectivement appliqué un système de détection à somme cumulée et comparé les résultats obtenus aux extrants de l’EARS. Le résultat a été la détection d’une éclosion ou du début d’une augmentation saisonnière connue et la prédiction du pic d’activité.
RÉSULTATS: Les algorithmes à somme cumulée ont détecté les éclosions provinciales plus tôt que l’algorithme EARS, repéré le début de la saison d’influenza avant les méthodes classiques et produit moins d’alertes faussement positives. De plus, la participation du personnel à la création des algorithmes a amélioré leur compréhension de ces algorithmes et en a renforcé l’utilisation dans la pratique.
CONCLUSION: L’utilisation d’une technologie interactive en ligne pour régler des algorithmes à somme cumulée a amélioré la sensibilité et la spécificité des algorithmes de détection.
Mots Clés: somme cumulée, EARS, guidé par les données, détection des aberrations, application Web interactive
Footnotes
Conflict of Interest: None to declare.
References
- 1.Lawson AB, Kleinman K, editors. Spatial and Syndromic Surveillance for Public Health. Hoboken, NJ: John Wiley & Sons; 2005. [Google Scholar]
- 2.Hutwagner L, Thompson W, Seeman GM, Treadwell T. The bioterrorism preparedness and response Early Aberration Reporting System (EARS) J Urban Health. 2003;80(2Suppl1):i89–96. doi: 10.1007/PL00022319. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 3.Höhle M, Meyer S, Paul M. Surveillance: Temporal and Spatio-Temporal Modeling and Monitoring of Epidemic Phenomena. 2015. [Google Scholar]
- 4.Salmon M, Schumacher D, Höhle M. Monitoring count time series in R: Aberration detection in public health surveillance. J Stat Softw. Accepted.
- 5.R Core Team. R: A Language and Environment for Statistical Computing. Vienna, Austria.: R: Foundation for Statistical Computing; 2015. [Google Scholar]
- 6.Sonesson C, Bock D. A review and discussion of prospective statistical surveillance in public health. J R Stat Soc Ser A Stat Soc. 2003;166(1):5–21. doi: 10.1111/1467-985X.00256. [DOI] [Google Scholar]
- 7.Unkel S, Farrington CP, Garthwaite PH, Robertson C, Andrews H. Statistical methods for the prospective detection of infectious disease outbreaks: A review. J R Stat Soc Ser A Stat Soc. 2012;175(1):49–82. doi: 10.1111/j.1467-985X.2011.00714.x. [DOI] [Google Scholar]
- 8.Chang W, Cheng J, Allaire JJ, Xie YH, McPherson J. Shiny: Web Application Framework for R. R Package Version 0.11.1. 2015. [Google Scholar]
- 9.Johnson IL. Development and integration of alerting algorithms and response protocols for public health surveillance of respiratory infections. 2016. [Google Scholar]
- 10.Woodall WH. The design of CUSUM quality control charts. J Qual Technol. 1986;18(2):99–102. doi: 10.1080/00224065.1986.11978994. [DOI] [Google Scholar]
- 11.Fricker RD, Jr, Hegler BL, Dunfee DA. Comparing syndromic surveillance detection methods: EARs’ versus a CUSUM-based methodology. Stat Med. 2008;27(17):3407–29. doi: 10.1002/sim.3197. [DOI] [PubMed] [Google Scholar]
- 12.Fricker RD., Jr . Introduction to Statistical Methods for Biosurveillance With an Emphasis on Syndromic Surveillance. 2013. [Google Scholar]
- 13.Xie YH. Knitr: A General-Purpose Package for Dynamic Report Generation in R. R Package Version 1.10.5. 2015. [Google Scholar]
- 14.Stodden V, Leisch F, Peng RD, editors. Implementing Reproducible Computational Research. London, England: Chapman and Hall; 2014. [Google Scholar]
- 15.Meyer S, Held L, Höhle M. Spatio-temporal analysis of epidemic phenomena using the R package surveillance. J Stat Softw. Accepted.