Revisiting the Innovation Strategy performance measurement process: insights from practice

Abstract

Performance measurement (PM) aims to ensure transparency and effectiveness in public spending. More specifically, it provides a foundation that allows funders to determine whether an intervention has achieved its stated objective, thus improving understanding of what interventions should be funded in the future. Ideally, performance measurement should help us understand “what works, for whom, and in what context.” Unfortunately, more often than not, performance reports are limited to a collection of indicators that make it difficult to answer this question. Based on our work with the Public Health Agency of Canada Innovation Strategy (PHAC-IS), we offer several recommendations to address this issue and support the performance measurement process, especially for complex interventions. We discuss the importance of contextualizing results to better understand impact and associating these results to a well-defined intervention. We also suggest using a validated tool to improve data collection and analysis and critically appraise the methods used to collect impact information. The integration of these key considerations will save time in data analysis and ensure funded recipients are not overburdened by the data collection process. Although this commentary is presented within the context of a complex multi-year population health funding program, we believe our approach can be applied to any performance management process and ultimately improve decisions such as whether an intervention should be continued, scaled up, or adapted to different contexts.

Introduction

The Public Health Agency of Canada Innovation Strategy (PHAC-IS)1 funded the development, adaptation, implementation, and evaluation of promising population health interventions that addressed health inequalities in vulnerable populations across Canada between 2009 and 2020 (Bradley Dexter et al., 2021; PHAC, 2017). Based on a model developed around funding interventions that sought to address risk and protective factors at the individual, community, and structural levels, the PHAC-IS offered two funding streams: Equipping Canadians: Mental Health throughout Life (2009–2018) and Achieving Healthier Weights in Canada’s Communities (2011–2020) across three phases for up to 8 years of consecutive funding (Bradley Dexter et al., 2021; PHAC, 2017). The PHAC-IS required funded recipients to produce evaluations that assessed effectiveness, process, and variations in implementation. This population health intervention research approach helped build evidence on “what works, for whom, and in what context” to improve population health (Hawe & Potvin, 2009).

Broadly speaking, performance measurement (PM) is defined as regular monitoring and assessment of outcomes and results, which generates reliable data on the effectiveness and efficiency of a program (Treasury Board Secretariat, 2010). Funded recipients were required to collect annual PM data based on a logic model and indicators which guided the collection and analysis of comparable information across projects. Indicators were used to operationalize the PHAC-IS team’s questions of interest, which covered both intervention process and outcomes. Data pertaining to each indicator were collected for all interventions annually during each funding phase. Three data sources were used: (1) the mandatory Annual Reporting Tool, which collected information on intervention activities, (2) a final report template, which collected information on impact and outcomes, and (3) evaluative research documents produced by funded researchers. Collected information was synthesized using descriptive statistics and qualitative methods which identified themes and defined them in a lexicon. Existing models and frameworks from the literature were used to structure the coding exercise for complex indicators (e.g., levels of knowledge use) (Knott & Wildavsky, 1980). The completed analysis was then collated into a report to support evidence-based funding decisions and to fulfill Treasury Board requirements.

Issue statement

The traditional analytical approach to PM is transversal and highlights trends and findings across interventions, not within them. This type of analysis also overlooks the context of the intervention and how the context and intervention systems interact (Minary et al., 2018). Analysts working on PM must move beyond typical descriptive reports and undertake comprehensive analysis that uses evidence from evaluative research to create accurate portraits of each intervention and its impact. In doing so, PM will better support policy and program decisions, such as determining whether or not a particular intervention is ready for scale-up, or whether an intervention is suitable for adaptation in a different community.

Developing a succinct and authentic portrait of a population health intervention in this manner is no easy task for analysts who must make sense of complex and conflicting data on interventions under short timelines (Cambon & Alla, 2019; Choi, 2008). In this commentary, we address this challenge by sharing our approach and propose that PM should not be limited to just a collection of indicators only and, instead, should help us understand “what works, for whom, and in what context.” Findings outlined were derived as part of a reflexive approach, including regular meetings and consultation process with colleagues to present ideas and gain feedback, which provided a venue for discussion and challenging of ideas.

How can performance measurement be improved to better support policy and program decisions?

Create a complete intervention description using a published tool

Descriptions of complex behaviour change interventions in research and policy contexts are often incomplete and this may hinder their adaptation and replication (Luoto et al., 2014; Michie et al., 2009; Riley et al., 2008). In our PM work for the IS, we found that while data collected focused on whether projects produced results, they failed to fully describe the project itself. There was limited information about the theory of change, the target populations, and the intervention duration and its intensity. Without this information, it was impossible to determine which interventions may have resulted in an observed change.

In order to address this issue, we utilized the Template for Intervention Description and Replication (TiDieR), a checklist tool that helps practitioners describe an intervention comprehensively (Hoffmann et al., 2014). The TiDieR checklist identifies the minimum recommended items for describing an intervention that would allow other practitioners to replicate or build on the findings (Hoffmann et al., 2014). This includes a brief description (name or phase), the rationale, what (materials), what (procedure), who provided the intervention, how, where, when, and how much, tailoring, modifications, and how well (planned and actual). This checklist includes 12 items; however, we used only the first nine because the remainder required specific evaluation designs which were out of the scope of our work.

The TiDieR tool was useful, but it hampered the description of complex interventions with multiple components and multiple sites. We addressed this challenge by considering the boundaries of the intervention versus their context. For example, we defined the activities pertaining to the intervention as those that directly impacted the targeted population. All activities supporting delivery were considered contextual elements. Although there are a number of other tools available to describe interventions (Bhattacharyya et al., 2015; Edberg et al., 2011; Luoto et al., 2014), we found the TiDieR tool most relevant and applicable to the PHAC-IS Program.

Streamline the data collection process by using one robust tool

Our second challenge with the PHAC-IS PM data was that multiple data collection tools were used, including a performance evaluation reporting tool, a final report template, and evaluative research documents produced by funded researchers. The extensive time required to search, read, and compile this information could have been reduced using a single tool that could be sent in full or in part to projects, depending on the implementation phase (beginning or end of the funding cycle). Specifically, a single, modulable data collection tool would be more efficient, facilitate data management over time, and allow a consistent comparison of outcomes.

Collect and interpret information based on predetermined questions

Even though a single tool creates efficiencies, it will not guarantee the right data are being collected. PM analysts often collect information because they feel it “would be good to know.” This rationale is not strong enough to justify data collection. Ideally, predetermined evaluation questions should closely guide the creation of a data collection tool and all indicators should respond to them.

Identifying complementary qualitative information is an important task for PM analysts. For example, the “number of people reached” does not offer much insight into effectiveness unless it is complemented with information about the intensity of the intervention. Too often, funding recipients are burdened with time-consuming, lengthy PM questionnaires that collect information which may not be used. If, after consulting colleagues, an analyst cannot identify an explicit purpose for collecting particular data, that data should be removed from the questionnaire.

Validate the tool before launching the PM cycle

A construct validation exercise is essential when developing any PM questionnaire, especially for complex concepts such as knowledge use or policy impact. We found that projects often used different terms for similar work, which made coding and interpretation of results challenging. Our PM team carried out a validation exercise for the PHAC-IS where questionnaire items such as knowledge use (an indicator in our PM analysis) were tested. This exercise was based on the methods of Skinner and colleagues (Skinner, 2007). The result of this exercise was a validated tool that included a clear definition of complex terms to avoid confusion and ensure the right information was collected. This process also built common terminology within the PHAC-IS team and its funded projects.

Critical appraisal of methods used to document outcomes

During our PM work with the PHAC-IS, we realized that critical appraisal of methods used to measure outcomes needed to be strengthened. Critical appraisal is the process of systematically examining research to judge its trustworthiness, its value, and its relevance in a particular context (Burls, 2009). Information collected using a single measurement is not as methodologically strong as information collected through a multi-year evaluation based on different data sources that are triangulated. There is a tendency within PM to combine results from different data sources without considering methodological quality.

Critically appraising the quality of evaluation methods is important to determine whether we should scale up an intervention or adapt it to different community settings. This will help identify what works for whom and if any changes can be made. For this reason, we suggest highlighting the differences in the evaluation methods used across projects for each outcome. We also acknowledge the importance of the design and methodologies of the evaluation component of population health interventions; while assessing the quality of the design and method used was beyond the scope of this paper, there are tools available to support this work (Hong et al., 2018). While this process cannot substitute for a rigorous assessment of the quality of evidence, it is a step towards more PM data transparency in an environment of sensitive PM timeliness. Developing a more complete description in this manner allows for easier critical appraisal of the project’s reported impacts.

Implications

There is no doubt that meaningful and timely PM is challenging, but the steps outlined above may help ensure that information is relevant to the goal of identifying what works, for whom, and in what context. The importance of providing context for the impact of interventions and associating these results to a well-defined intervention cannot be emphasized enough. Collecting PM data in this way allows analysts to create more accurate intervention portraits.

Although this commentary is presented within the context of a complex, multi-year population health funding program, we believe our approach can be applied to any PM process and ultimately improve decisions such as whether an intervention should be continued, scaled up, or adapted to different contexts. This commentary highlights a need to reassess standard performance measurement tools and methods and consider future innovations to capture intervention complexity in the field of performance measurement and evaluation.

Introduction

La Stratégie d’innovation de l’Agence de la santé publique du Canada (SI de l’ASPC)2 a financé l’élaboration, l’adaptation, la mise en œuvre et l’évaluation d’interventions prometteuses en matière de santé de la population qui s’attaquaient aux inégalités de santé dans les populations vulnérables du Canada (Bradley Dexter et al., 2021; PHAC, 2017). Fondée sur un modèle élaboré autour d’interventions de financement qui cherchaient à aborder les facteurs de risque et de protection aux niveaux individuel, communautaire et structurel, la SI de l’ASPC offrait deux volets de financement : Outiller les Canadiens – La santé mentale pour la vie (2009-2018) et Atteinte du poids santé dans les collectivités du Canada (2011–2020) dans le cadre de trois phases, pour un financement pouvant aller jusqu’à huit années consécutives (Bradley Dexter et al., 2021; PHAC, 2017). La SI de l’ASPC exigeait des bénéficiaires financés qu’ils produisent des examens qui évaluaient l’efficacité, le processus et les variations dans la mise en œuvre. Cette approche de recherche interventionnelle en santé de la population a permis de recueillir des données probantes sur « ce qui fonctionne, pour qui et dans quel contexte » afin d’améliorer la santé de la population (Hawe & Potvin, 2009).

De manière générale, la mesure du rendement est définie comme une évaluation et un suivi réguliers des résultats, ce qui génère des données fiables sur l’efficacité et l’efficience d’un programme (Treasury Board Secretariat, 2010). Les bénéficiaires financés étaient tenus de recueillir des données annuelles sur la mesure du rendement fondées sur un modèle logique et des indicateurs qui orientaient la collecte et l’analyse des renseignements comparables entre les projets. Les indicateurs étaient utilisés pour opérationnaliser les questions d’intérêt de l’équipe de la SI de l’ASPC, qui couvraient à la fois le processus d’intervention et ses résultats. Par ailleurs, les données relatives à chaque indicateur étaient recueillies annuellement pour toutes les interventions au cours de chaque phase de financement. Trois sources de données ont été utilisées : 1) l’outil de rapport annuel de la SI de l’ASPC, qui recueillait des renseignements sur les activités d’intervention, 2) un rapport final, qui recueillait des renseignements sur les répercussions et les résultats, et 3) les documents de recherche évaluative produits par les chercheurs financés. Les renseignements recueillis ont été synthétisés à l’aide de statistiques descriptives et de méthodes qualitatives qui déterminaient les thèmes et les définissaient dans un lexique. Enfin, les modèles et les cadres existants tirés de la littérature ont été utilisés pour structurer l’exercice de codage des indicateurs complexes (par exemple, les niveaux d’utilisation des connaissances) (Knott & Wildavsky, 1980). L’analyse terminée a ensuite été compilée dans un rapport afin d’appuyer les décisions de financement fondées sur des données probantes et de répondre aux exigences du Conseil du Trésor.

Énoncé de la question

L’approche analytique traditionnelle à l’égard de la mesure du rendement est transversale et met en évidence les tendances et les résultats de l’ensemble des interventions, et non de l’une d’entre elles. Ce type d’analyse néglige également le contexte de l’intervention et la manière dont le contexte et les systèmes d’intervention interagissent (Minary et al., 2018). Les analystes qui travaillent sur la mesure du rendement doivent aller au-delà des rapports descriptifs habituels et entreprendre une analyse complète qui utilise les données probantes issues de la recherche évaluative pour dresser des portraits précis de chaque intervention et de ses répercussions. Ce faisant, la mesure du rendement soutiendra mieux les décisions relatives aux politiques et aux programmes, par exemple en déterminant si une intervention particulière est prête à être mise à l’échelle, ou si elle peut être adaptée dans une autre communauté.

Le fait d’élaborer de cette manière un portrait succinct et authentique d’une intervention en santé de la population n’est pas une tâche facile pour les analystes. Ces derniers doivent donner un sens à des données complexes et contradictoires sur des interventions dans des délais courts (Cambon & Alla, 2019; Choi, 2008). Dans le présent commentaire, nous relevons ce défi en communiquant notre approche, et suggérons que la mesure du rendement ne se limite pas à un simple ensemble d’indicateurs, mais qu’elle doive plutôt nous aider à comprendre « ce qui fonctionne, pour qui et dans quel contexte ». Les résultats présentés ont été obtenus dans le cadre d’une approche réflexive, y compris des réunions régulières et un processus de consultation avec des collègues pour présenter des idées et obtenir une rétroaction, ce qui a offert une occasion de discuter des idées et de les remettre en question.

Comment améliorer la mesure du rendement pour mieux soutenir les décisions relatives aux politiques et aux programmes?

Créer une description complète des interventions à l’aide d’un outil publié

Les descriptions des interventions complexes visant le changement de comportements dans les contextes de la recherche et des politiques sont souvent incomplètes, ce qui peut nuire à leur adaptation et à leur reproduction (Luoto et al., 2014; Michie et al., 2009; Riley et al., 2008). Dans le cadre de notre travail de mesure du rendement de la SI, nous avons constaté que, même si les données recueillies étaient axées sur la question de savoir si les projets produisaient des résultats, elles ne décrivaient pas entièrement le projet lui-même. Les renseignements sur la théorie du changement, les populations cibles, ainsi que la durée et l’intensité des interventions étaient limités. Sans ces renseignements, il était impossible de déterminer les interventions qui auraient pu entraîner un changement observé.

Afin de résoudre ce problème, nous avons utilisé le « modèle pour la description et la réplication de l’intervention » (TiDieR), une liste de contrôle qui aide les praticiens à décrire une intervention de manière exhaustive (Hoffmann et al., 2014). La liste de contrôle TiDieR établit les éléments minimums recommandés en vue de décrire une intervention qui permettrait à d’autres praticiens de reproduire les résultats ou de s’appuyer sur ceux-ci (Hoffmann et al., 2014). Cela comprend une brève description (nom ou phase); la justification; quels (documents); quelle (procédure); qui a fourni l’intervention; comment, où, quand et combien; l’adaptation; les modifications; et la qualité (prévue et réelle). Cette liste de contrôle comprend 12 éléments; cependant, nous n’avons utilisé que les neuf premiers, car les autres nécessitaient des plans d’évaluation précis qui ne faisaient pas partie de la portée de notre travail.

L’outil TiDieR s’est avéré utile, mais il a entravé la description d’interventions complexes comportant plusieurs volets et plusieurs sites. Nous avons relevé ce défi en prenant en compte les limites de l’intervention par rapport à leur contexte. Par exemple, nous avons défini les activités relatives à l’intervention comme étant celles qui ont eu une incidence directe sur la population ciblée. Toutes les activités de soutien à l’exécution étaient considérées comme des éléments contextuels. Bien qu’il existe un certain nombre d’autres outils disponibles pour décrire les interventions (Bhattacharyya et al., 2015; Edberg et al., 2011; Luoto et al., 2014), nous avons jugé que l’outil TiDieR était le plus pertinent et le plus applicable au programme de la SI de l’ASPC.

Simplifier le processus de collecte des données en utilisant un outil robuste

Notre deuxième défi concernant les données sur la mesure du rendement de la SI de l’ASPC était l’utilisation de plusieurs outils de collecte de données, y compris un outil de production de rapports d’évaluation du rendement, un modèle de rapport final, et des documents de recherche évaluative produits par les chercheurs financés. Le temps considérable nécessaire à la recherche, à la lecture et à la compilation de ces renseignements aurait pu être réduit à l’aide d’un seul outil qui pourrait être envoyé, en tout ou en partie, aux projets, selon la phase de mise en œuvre (début ou fin du cycle de financement). Plus précisément, un outil de collecte de données unique et modulable serait plus efficace; faciliterait la gestion des données au fil du temps; et permettrait une comparaison cohérente des résultats.

Recueillir et interpréter les renseignements en fonction de questions prédéterminées

Même si un seul outil permet de réaliser des gains d’efficacité, il ne garantira pas que les bonnes données seront recueillies. Souvent, les analystes de la mesure du rendement recueillent des renseignements parce qu’ils estiment qu’il « serait bon de les connaître ». Cette explication n’est pas assez solide pour justifier la collecte de données. Idéalement, des questions d’évaluation prédéterminées devraient guider étroitement la création d’un outil de collecte de données, et tous les indicateurs devraient y répondre.

La détermination de renseignements qualitatifs complémentaires est une tâche importante pour les analystes de la mesure du rendement. Par exemple, le « nombre de personnes atteintes » n’offre pas beaucoup de renseignements sur l’efficacité, à moins que ceux-ci ne soient complétés par des renseignements sur l’intensité de l’intervention. Trop souvent, les bénéficiaires de financement sont accablés par des questionnaires sur la mesure du rendement qui sont longs et fastidieux, et qui recueillent des renseignements qui ne sont pas forcément utilisés. Si, après avoir consulté ses collègues, un analyste ne peut pas déterminer un objectif explicite pour la collecte de données particulières, ces données devront être supprimées du questionnaire.

Valider l’outil avant de lancer le cycle de mesure du rendement

Un exercice de validation des concepts est essentiel lors de l’élaboration de tout questionnaire sur la mesure du rendement, en particulier pour les concepts complexes tels que l’utilisation des connaissances ou l’impact des politiques. Nous avons constaté que les projets utilisaient souvent des termes différents pour des travaux similaires, ce qui rendait difficiles le codage et l’interprétation des résultats. Ainsi, notre équipe de mesure du rendement a effectué un exercice de validation pour la SI de l’ASPC où des éléments du questionnaire, tels que l’utilisation des connaissances (un indicateur dans notre analyse de la mesure du rendement), ont été mis à l’essai. Cet exercice était fondé sur les méthodes de Skinner et de ses collègues (Skinner, 2007). Le résultat de cet exercice a été un outil validé comprenant une définition claire des termes complexes pour éviter toute confusion et garantir la collecte des bons renseignements. De plus, ce processus a permis d’établir une terminologie commune au sein de l’équipe de la SI de l’ASPC et de ses projets financés.

Évaluation critique des méthodes utilisées pour documenter les résultats

Au cours de notre travail de mesure du rendement de la SI de l’ASPC, nous avons réalisé que l’évaluation critique des méthodes utilisées pour mesurer les résultats devait être renforcée. L’évaluation critique est le processus qui consiste à examiner systématiquement la recherche afin d’en juger la fiabilité, la valeur et la pertinence dans un contexte particulier (Burls, 2009). Les renseignements recueillis à l’aide d’une mesure unique ne sont pas aussi solides sur le plan méthodologique que ceux recueillis dans le cadre d’une évaluation pluriannuelle en fonction de différentes sources de données triangulées. La mesure du rendement a tendance à combiner des résultats provenant de différentes sources de données sans tenir compte de la qualité méthodologique.

Il est important d’évaluer de manière critique la qualité des méthodes d’évaluation pour déterminer si nous devons mettre à l’échelle une intervention ou l’adapter à différents milieux communautaires. Cela contribuera à déterminer ce qui fonctionne et pour qui, et si des changements peuvent être apportés. C’est pourquoi nous suggérons de mettre en évidence les différences entre les méthodes d’évaluation qui sont utilisées dans l’ensemble des projets, pour chaque résultat. Nous reconnaissons également l’importance de la conception et des méthodologies de la composante d’évaluation des interventions en santé de la population; même si l’évaluation de la qualité de la conception et de la méthode utilisée dépassait la portée du présent document, il existe des outils pour soutenir ce travail (Hong et al., 2018). Bien que ce processus ne puisse pas se substituer à une évaluation rigoureuse de la qualité des données probantes, il constitue une première étape vers une plus grande transparence des données sur la mesure du rendement dans un environnement où le caractère opportun de la mesure du rendement est une question délicate. Le fait d’élaborer de cette manière une description plus complète permet de faciliter l’évaluation critique des répercussions signalées du projet.

Implications

Il ne fait aucun doute qu’il est difficile de fournir une mesure du rendement significative et opportune, mais les étapes décrites ci-dessus peuvent contribuer à garantir que les renseignements seront pertinents pour l’objectif visant à déterminer ce qui fonctionne, pour qui et dans quel contexte. On ne soulignera jamais assez l’importance de mettre en contexte les répercussions des interventions et d’associer ces résultats à une intervention bien définie. Le fait de recueillir de cette manière les données sur la mesure du rendement permet aux analystes de dresser des portraits d’intervention plus précis.

Bien que le présent commentaire soit présenté dans le contexte d’un programme pluriannuel complexe en matière de financement de la santé de la population, nous pensons que notre approche peut être appliquée à tout processus de gestion du rendement et, en fin de compte, améliorer les décisions visant à déterminer si une intervention devrait être poursuivie, étendue à plus grande échelle ou adaptée à différents contextes. Le présent commentaire souligne la nécessité de réévaluer les outils et les méthodes normalisés de mesure du rendement et d’envisager les innovations futures afin de saisir la complexité des interventions dans le domaine de la mesure et de l’évaluation du rendement.

Author contributions

All authors contributed equally to the article conception and design, material preparation, data collection, analysis, and manuscript preparation. All authors read and approved the final manuscript.

Funding

The Special Issue on the Public Health Agency of Canada – Innovation Strategy was funded by the Public Health Agency of Canada.

Data and materials availability

All data, reports, and materials were made available from the PHAC-IS funding program and project-level completed reports.

Declarations

Ethics approval

N/A

Consent to participate

N/A

Consent for publication

Publication of this article has been confirmed by the Director of the Division of Mental Health and Wellbeing at PHAC.

Conflict of interest

Government of Canada employees completed this work.