Abstract
Background
The Rapid Risk Factor Surveillance System (RRFSS) is an ongoing population health survey conducted by a collaborating group of Ontario public health units. This formative evaluation examined the process effectiveness, collaboration, utility and cost-effectiveness of RRFSS during its first year of operation.
Methods
An Evaluation Framework was developed with reference to guidelines for evaluation of surveillance systems developed by the World Health Organization and the U.S. Centers for Disease Control and Prevention. The study focussed on evaluable performance areas in a young surveillance system and on information needed to inform stakeholder decisions about future participation and improvement. Data were collected through surveys and interviews of key informants in participating health units, non-participating health units, the survey research house, and the provincial health ministry.
Results
Findings documented early use and dissemination of RRFSS data in health units after less than a year of surveillance system operation, stakeholder perceptions overall of data impact and value, and satisfaction with system functioning. Challenges to effectiveness were documented concerning data analysis, barriers to data use, and sustainability. Performance improvement strategies were identified for survey implementation and supports, data use, system participation, and reduced costs.
Conclusion
In its first year, RRFSS was an effective collaborative method to collect population data for public health program planning and evaluation. The evaluation provided valuable information on use, functioning, effectiveness, strategic issues and areas for improvement in a young surveillance system, created opportunities for stakeholder input into evaluation and planning, and provided a baseline for future evaluations.
MeSH terms: public health, population surveillance, evaluation studies, program evaluation, data collection, cooperative behavior
Résumé
Contexte
Le Système rapide de surveillance des facteurs de risque est une enquête permanente sur la santé de la population menée collectivement par un groupe de services de santé publique de l’Ontario. Dans le cadre d’une évaluation formative, nous avons examiné l’efficacité du processus, la collaboration des intervenants, ainsi que l’utilité et la rentabilité du système au cours de sa première année de fonctionnement.
Méthode
Notre cadre d’évaluation a respecté les lignes directrices pour l’évaluation des systèmes de surveillance mises au point par l’Organisation mondiale de la santé et par les Centres américains de contrôle et de prévention des maladies (CDC). L’évaluation a porté sur les critères de rendement qu’il est possible d’évaluer pour un jeune système de surveillance et sur l’information nécessaire pour étayer les décisions des intervenants à propos de la participation future à l’enquête et des améliorations à apporter au système. Les données ont été recueillies à l’aide de questionnaires et d’entretiens avec des informatrices et des informateurs clés au sein des bureaux de santé (participant ou non au système), de la maison de recherches par sondages et du ministère provincial de la Santé.
Résultats
Nos constatations témoignent d’une utilisation et d’une diffusion précoces des données du Système rapide de surveillance des facteurs de risque dans les bureaux de santé moins d’un an après sa mise en ouvre, d’une perception générale de l’impact et de l’utilité des données chez les intervenants, ainsi que d’un fonctionnement satisfaisant du système dans l’ensemble. Nous avons documenté des problèmes d’efficacité liés à l’analyse des données, des obstacles à leur utilisation et des préoccupations quant à la viabilité du système. Nous avons cerné des stratégies d’amélioration du rendement pouvant s’appliquer à la mise en ouvre et au soutien des enquêtes, à l’utilisation des données, à la participation au système et à la réduction des coûts.
Conclusion
Au cours de sa première année, le Système rapide de surveillance des facteurs de risque s’est révélé un outil efficace pour recueillir des données démographiques utiles à la planification et à l’évaluation des programmes de santé publique. Notre évaluation a produit des données précieuses sur l’utilisation, le fonctionnement, l’efficacité, les enjeux stratégiques et les aspects à améliorer dans ce jeune système de surveillance. Les intervenants auront ainsi la possibilité de contribuer aux futurs exercices d’évaluation et de planification et auront en main des données de référence à partir desquelles évaluer le système.
Footnotes
Acknowledgements: This evaluation was made possible by contributions of several partners. It was conducted under the auspices of the Ontario Rapid Risk Factor Surveillance System Working Group (ORWG), which is the steering committee of the cooperating group of Ontario public health units participating in RRFSS. The project was funded and supported by the Ontario Public Health Research, Education, and Development (PHRED) Program. PHRED funding made possible the acquisition of an external consultant and research assistant for the project. The Simcoe County District Health Unit provided in-kind staff support and workspace for the entire project. PHRED programs include: Hamilton Social and Public Health Services; Kingston, Frontenac and Lennox & Addington Health Unit; Middlesex-London Health Unit; City of Ottawa People Services; Sudbury & District Health Unit; and the Public Health Branch, Ministry of Health and Long-Term Care. Various members of the RRFSS Working Group in 2001 and 2002 provided valuable contributions through their review, input and approval at key stages of project planning and implementation.
References
- 1.Ontario RRFSS Working Group. About RRFSS. Available on-line at: https://doi.org/www.cehip.org/rrfss/.
- 2.Ontario RRFSS Working Group. An Adult Risk Factor Surveillance System for Ontario. 2001. [Google Scholar]
- 3.Ontario RRFSS Working Group. An Evaluation of the Rapid Risk Factor Surveillance System. 2002. [Google Scholar]
- 4.Stewart PJ, Sales P. Evaluation of the Rapid Risk Factor Surveillance System: Final Report. 2000. [Google Scholar]
- 5.Rapid Risk Factor Surveillance System website. Available on-line at: https://doi.org/www.cehip.org/rrfss/.
- 6.World Health Organization. Protocol for the Evaluation of Epidemiological Surveillance Systems. 1997. [Google Scholar]
- 7.MMWR. 2001. [PubMed]
- 8.Ontario RRFSS Working Group. RRFSS Workshop 2002 Roundtable Summaries. 2002. [Google Scholar]