Abstract
Objectives
This study assessed the validity of a widely-accepted administrative data surveillance methodology for identifying individuals with diabetes relative to three laboratory data reference standard definitions for diabetes.
Methods
We used a combination of linked regional data (hospital discharge abstracts and physician data) and laboratory data to test the validity of administrative data surveillance definitions for diabetes relative to a laboratory data reference standard. The administrative discharge data methodology includes two definitions for diabetes: a strict administrative data definition of one hospitalization code or two physician claims indicating diabetes; and a more liberal definition of one hospitalization code or a single physician claim. The laboratory data, meanwhile, produced three reference standard definitions based on glucose levels +/- HbA1c levels.
Results
Sensitivities ranged from 68.4% to 86.9% for the administrative data definitions tested relative to the three laboratory data reference standards. Sensitivities were higher for the more liberal administrative data definition. Positive predictive values (PPV), meanwhile, ranged from 53.0% to 88.3%, with the liberal administrative data definition producing lower PPVs.
Conclusions
These findings demonstrate the trade-offs of sensitivity and PPV for selecting diabetes surveillance definitions. Centralized laboratory data may be of value to future surveillance initiatives that use combined data sources to optimize case detection.
Keywords: Predictive value of tests; patient selection; health services research; diabetes mellitus; sensitivity; validation studies; surveillance
Résumé
Contexte
Cette étude a évalué la validité d’une méthode de surveillance basée sur des données administratives pour identifier des sujets diabétiques selon trois définitions du diabète constituant un étalon de référence pour les données de laboratoire.
Méthode
Nous avons utilisé une combinaison de données régionales liées (registres des sorties des hôpitaux et demandes de paiement des médecins) et de données de laboratoire pour évaluer la validité de définitions administratives de la surveillance du diabète par rapport à un étalon de référence pour les données de laboratoire. Les données administratives sur les sorties utilisent deux définitions pour le diabète: une définition stricte (un code d’hospitalisation ou deux demandes de paiement de médecins indiquant le diabète) et une définition plus large (un code d’hospitalisation ou une seule demande de paiement de médecin). Les données de laboratoire, par contre, ont trois définitions, fondées sur les niveaux de glycémie +/- les niveaux de HbA1c.
Résultats
La sensibilité des définitions administratives variait entre 68,4 % et 86,9 % par rapport aux trois définitions utilisées pour les données de laboratoire. La sensibilité était plus élevée pour la définition administrative la plus large. Les valeurs prédictives positives (VPP) variaient quant à elles entre 53,0 % et 88,3 %, la définition administrative la plus large produisant des VPP plus faibles.
Interprétation
Ces résultats montrent qu’il y a un compromis à faire entre une sensibilité optimale et la VPP lorsqu’on veut employer les meilleures définitions de surveillance du diabète. Les données centralisées en laboratoire peuvent être utiles pour les futures initiatives de surveillance, qui pourraient utiliser des sources de données combinées pour optimiser la détection des cas.
Motsclés: valeur prédictive des tests; sélection des patients; évaluation résultats et méthodes (soins); diabète de type 1; sensibilité et spécificité; études de validité; surveillance épidémiologique
Footnotes
Conflict of Interest: None to declare.
References
- 1.Delich S, Carter AO. Public health surveillance: Historical origins, methods and evaluation. Bull WHO. 1994;72:285–304. [PMC free article] [PubMed] [Google Scholar]
- 2.Tan H, MacLean DR. Epidemiology of diabetes mellitus in Canada. Clin Invest Med. 1995;18:240–46. [PubMed] [Google Scholar]
- 3.NIH. Diabetes in America. 2nd ed. Washington, DC: National Diabetes Data Group, National Institute of Diabetes and Digestive and Kidney Diseases, National Institutes of Health; 1995. [Google Scholar]
- 4.Clottey C, Mo F, LeBrun B, Mickelson P, Niles J, Robbins G. The development of the National Diabetes Surveillance System (NDSS) in Canada. Chron Dis Can. 2001;22(2):67–69. [PubMed] [Google Scholar]
- 5.Blanchard JF, Ludwig S, Wajda A, Dean H, Andreson K. Incidence and prevalence of diabetes in Manitoba, 1986–1991. Diabetes Care. 1996;19:807–11. doi: 10.2337/diacare.19.8.807. [DOI] [PubMed] [Google Scholar]
- 6.Hux JE. Using administrative data to define the prevalence of diabetes melli-tus in Ontario. Report to NDSS Validation Working Group. Toronto: ICES; 1999. [Google Scholar]
- 7.Pine M, Norussis M, Jones B, Rosenthal GE. Predictions of hospital mortality rates: A comparison of data sources. Ann Intern Med. 1997;126:347–54. doi: 10.7326/0003-4819-126-5-199703010-00002. [DOI] [PubMed] [Google Scholar]
- 8.LeBlanc J, Kephart G. Assessment of the sensitivity and specificity of Nova Scotia administrative databases for detecting diabetes mellitus. Report to NDSS Validation Working Group. Halifax: Population Health Research Unit; 1998. [Google Scholar]
- 9.Van Til L. PEI Diabetes Validation Project, Report to NDSS Validation Working Group. Charlottetown: Document Publishing Centre, March 2001. Responding to the Challenge of Diabetes in Canada: First Report of the National Diabetes Surveillance System (NDSS); 2003. [Google Scholar]
- 10.McCance DR, Hanson RL, Charles MA, Jacobsson LT, Pettitt DJ, Bennett PH, et al. Comparison of tests for glycated hemoglobin and fasting and two hour plasma glucose concentrations as diagnostic methods for diabetes. BMJ. 1994;308:1323–28. doi: 10.1136/bmj.308.6940.1323. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 11.Engelgau MM, Thompson TJ, Herman WH, Boyle JP, Aubert RE, Kenny SJ, et al. Comparison of fasting and 2-hour glucose and HbA1c levels for diagnosing diabetes. Diagnostic criteria and performance revisited. Diabetes Care. 1997;20(5):785–91. doi: 10.2337/diacare.20.5.785. [DOI] [PubMed] [Google Scholar]
- 12.Rohlfing CL, Little RR, Wiedmeyer HM, England JD, Madsen R, Harris MI, et al. Use of GHb (HbA1c) in screening for undiagnosed diabetes in the U.S. population. Diabetes Care. 2000;23(2):187–91. doi: 10.2337/diacare.23.2.187. [DOI] [PubMed] [Google Scholar]
- 13.National Diabetes Surveillance System, 2006. Available at: https://doi.org/www.phac-aspc.gc.ca/ccdpc-cpcmc/ndss-snsd/english/index_e.html (Accessed January 15, 2008).
- 14.Hux JE, Ivis F, Flintoft V, Bica A. Diabetes in Ontario: Determination of prevalence and incidence using a validated administrative data algorithm. Diabetes Care. 2002;25(3):512–16. doi: 10.2337/diacare.25.3.512. [DOI] [PubMed] [Google Scholar]
- 15.Harvey JN, Craney L, Kelly D. Estimation of the prevalence of diagnosed diabetes from primary care and secondary care source data: Comparison of record linkage with capture-recapture analysis. J Epidemiol Community Health. 2002;56:18–23. doi: 10.1136/jech.56.1.18. [DOI] [PMC free article] [PubMed] [Google Scholar]