Readiness for scale-up: lessons learned from the Public Health Agency of Canada’s Innovation Strategy

Abstract

Setting

The Public Health Agency of Canada Innovation Strategy (PHAC-IS) funded the development and delivery of interventions that addressed priority population health issues over a 10-year period between 2009 and 2020. The design of the PHAC-IS funding program integrated the intentional effort of scale-up to increase the reach and impact of proven population health promotion interventions towards long-term, sustained impact benefit at individual, community, and systems levels.

Intervention

Recognizing that social innovation and adaptive cycles are necessary for effective scale-up, the PHAC-IS developed and applied a Scale-up Readiness Assessment Tool (SRAT) to assess the level of scale-up readiness of a funded project.

Outcomes

Development of the SRAT included identifying predictors of success for the scale-up of effective population health interventions, organized into eight common characteristics among projects that indicated scale-up readiness: (1) intervention evidence and evaluation, (2) reach and scale, (3) organizational capacity, (4) partnership development, (5) system readiness, (6) community context, (7) cost factors, and (8) knowledge development and exchange.

Implications

Although the SRAT was not a standalone decision-making rubric, it was a key part of a framework for review, consideration, and assessment for scale-up along a phased approach to funding. The development and application of the SRAT to measure readiness for scale-up provides insights into domains that can be used by funding organizations to inform scale-up decisions or for community organizations to assess their own readiness for scale-up.

Introduction

Scale-up of promising population health interventions is the deliberate effort to increase the reach and impact of interventions, the coordination of approaches across settings and jurisdictions, and ultimately, a shift in policy and program development to promote health at the population level. With increasing pressure to address the wider determinants of health through population health programming while generating knowledge and evidence on what works, for whom, and in what context (Bambra et al., 2010), the concept of scaling up population health interventions has gained considerable traction in theoretical discussions (McLean & Gargani, 2019; Nguyen et al., 2020). A fundamental step within the scale-up process is the assessment of an intervention’s ability to move to scale (Milat et al., 2020; World Health Organization, 2010). Yet, there are still few examples capturing the practical assessment of the readiness for scale within the field of health promotion.

One area of focus in the Public Health Agency of Canada’s Innovation Strategy (PHAC-IS) 1 has been to understand the complexities of organizational and system readiness for scale-up. As a national funding program, the PHAC-IS was designed to be an incubator for innovative population health promotion interventions that had the potential to influence change at the individual, community, and systems levels (Bradley Dexter et al., 2021). The PHAC-IS conceptualized scale-up as a process that would improve the benefits, coverage, and equitable access to proven interventions, and defined scale-up as the intentional effort to increase the reach and impact of successfully tested population health promotion interventions2. This approach was built into the funding model to ensure that innovative, community-based interventions benefited individuals, and impacted the broader underlying determinants of health through vested partnerships3 and KDE efforts (Bradley Dexter et al., 2021; Kavanagh Salmond & Mahato, 2021; Lee & Kavanagh Salmond, 2021) to foster sustainable policy and program development across diverse populations and communities.

This article seeks to contribute to the discourse around scaling promising population health interventions and more specifically the assessment of scale-up readiness as a practical challenge for health promotion practitioners and decision makers. The PHAC-IS Scale-up Readiness Assessment Tool (SRAT) is presented as a tool alongside considerations for practitioners grappling with the assessment of scale-up readiness. While the SRAT was applied to identify effective interventions with the capacity for scale-up to deliver national reach and impact broader systems, this paper also offers reflections for the application of the tool as a part of a wider decision-making framework, recognizing the non-linear nature of both social innovation and scale-up.

Setting and intervention

From 2009 through 2020, the PHAC-IS provided funding to organizations to test, deliver, and evaluate population health interventions to determine how they brought about change, the context in which they worked best and for which populations (Bradley Dexter et al., 2021). Originally designed to span only two phases, the PHAC-IS added a phase dedicated to scaling up successful interventions to meet the conditions of scale: significant long-term investment of resources and time, an understanding of the ever-changing context in which population health interventions operate, and a strong organizational capacity of project leads and partners (Mangham & Hanson, 2009; Nguyen et al., 2020; Paina & Peters, 2012).

By supporting funded organizations to pursue intersectoral partnerships, knowledge exchange activities, and scale-up of successful interventions, the PHAC-IS aimed to support effective and sustainable interventions that would benefit as many individuals as possible across diverse populations, jurisdictions, and settings, as well as meet the conditions required for broader systems change. This was accomplished by providing funding in three distinct phases (Fig. 1):

• Phase 1 (2009–2012): Initiation and development focused on the initial design, development, testing, and delivery of interventions over an initial period of 12 to 18 months. Phase 1 included the development of partnerships and networks among public, non-profit, community, academic, and private sectors. This phase was designed to create population health interventions ready to be evaluated and focused on building organizational capacity to begin to scale up to deliver in additional jurisdictions through a partnership network.

• Phase 2 (2011–2016): Delivery and evaluation supported full implementation, adaptation, and evaluation of comprehensive population health interventions across multiple populations, communities (each in at least three different jurisdictions), and settings over a period of up to four years. The goal of phase 2 was to create and distribute evidence on community and cultural context compatibility, implementation readiness, and the measurable impact of population health promotion interventions.

Fig. 1.

The PHAC Innovation Strategy timeline

In 2013, the results of interim performance reviews of phase 2 projects revealed that several projects had developed strategic, vested partnerships (Lee & Kavanagh Salmond, 2021) across multiple sectors and were beginning to show effectiveness. It was proposed that a third phase of funding be added to assess the feasibility and processes of intervention scale-up. Phase 3 was approved and conceived as follows:

• Phase 3 (2015–2020): Scale-up successes concentrated efforts to expand the reach and impact of successfully evaluated population health interventions. This increased funding was available through a competitive process for a three-year period. The goal of this phase was to build capacity and create opportunities to scale the intervention to additional populations and impact broader determinants of health to sustain the measurable impact.

In order to understand how to assess scale-up readiness in effective interventions, PHAC-IS drew from social innovation literature which maintains there is no linear “road map” to success (Bradley Dexter et al., 2021). As people, situations, and time change, so does the “route” that is likely to lead to a successful outcome (Westley et al., 2007). Innovations must be tested, be continually adapted, and generate knowledge and evidence about what works for whom and in what context to support decision making for population health across levels and jurisdictions, as well as impact broader systems change.

To influence these broader social systems that impact health, change must be facilitated across different levels of scale to support a strong and lasting impact (Westley et al., 2007), and adaptation will always be necessary to meet diverse and intersecting needs at the community and population levels. From the outset, the PHAC-IS program team focused on core components of social innovation such as complexity and systems thinking (Bradley Dexter et al., 2021). Emphasis on research and evaluation as well as partnership development throughout the phases allowed for course correction as needed to enhance project design, learning, and collaboration with partners and to create a strong foundation for eventual scale-up and sustainability. In this spirit, there were many built-in reflective processes that allowed for discussion and input between the PHAC-IS and its funded projects to inform and adapt the phased approach (Cook & Bradley Dexter, 2021). Originally envisioned as a capacity-building tool to support funded projects in scaling and cross-scale interactions (Indig et al., 2017; World Health Organization, 2010), the SRAT was developed into an assessment tool that the PHAC-IS applied to understand and analyze organizational capacity and system readiness for scale-up.

Methods

The SRAT was developed by PHAC-IS in four stages to include: a review of the published literature, grey literature, and project-level data from phases 1 and 2 to identify potential domains; development of key domains for inclusion in the SRAT; development and identification of criteria and indicators for each domain; and finally, the validation of domains and criteria by consulting key experts and conducting testing with the end users using funded project data. Feedback from the validation stage was applied to revise SRAT and develop a final version. Figure 2 illustrates the process the PHAC-IS applied to develop a framework to assess scale-up readiness.

Fig. 2.

Steps in the development of a framework to assess scale-up readiness

Stage 1 began in 2014 with a literature review combined with a thematic synthesis of project reports and evaluations across the first two phases of funding. This stage highlighted several key predictors of success for the scale-up of effective population health interventions. Stage 2 focused on refining the key predictors for scale-up success identified in stage 1 to create a list of eight key domains to scale up. In stage 3, PHAC-IS staff identified key indicators for each of the identified domains through a literature review and analysis of PHAC-IS project reports.

Indicators were tested using project data from phase 2 projects. The indicators that effectively measured change or progress for a specific domain upon testing were included in the final list of indicators; all others were excluded or revised. Stage 4 occurred in 2015 and included a workshop coordinated by the PHAC-IS with a key group of researchers, funded projects, practitioners, and other government funders to discuss the domains and indicators of scale-up identified for the tool. Lessons learned and feedback from this workshop were integrated into the SRAT, including refining the specific domains for scale-up and exploring how the tool could be used to support projects and communities in the scale-up process. Throughout 2014/2015, the SRAT was tested and further refined by examining data from project reporting, including the Innovation Strategy’s Annual Reporting Tool (ISART) and compulsory project evaluation reports (Boileau-Falardeau et al., 2021). In addition, between two and three PHAC reviewers per project independently applied the SRAT to ensure that it both was reliable and accounted for inter-rater variability and potential subjectivity.

Outcomes

The culmination of review, research, dialogue, and testing across the four stages of development for the SRAT consistently highlighted eight key domains critical to scale-up: (1) intervention evidence and evaluation, (2) reach and scale, (3) organizational capacity, (4) partnership development, (5) system readiness, (6) community context, (7) cost factors, and (8) knowledge development and exchange (KDE). Based on this work, the SRAT was designed as a rubric to assess a project’s potential to transition from a developmental focus to broader implementation in multiple sites and at a sectoral level (system-level readiness). Table 1 outlines the domains and criteria of the SRAT with example indicators, considerations, and a broad outline of scoring.

Table 1.

The PHAC Innovation Strategy’s Scale-up Readiness Assessment Tool (SRAT)

Domains	Criteria	Examples of measured success indicators	Considerations	Scoring
1. Intervention evidence and evaluation	✓ Quality of intervention evidence (theory of change) ✓ Quality and scope of evaluation evidence generated by the project ✓ Internal validity for outcome measures ✓ Emphasis on external validity and process evaluation for replication ✓ Quality control and performance monitoring ✓ Measurement of impact on policy and practice	Capacity to develop/sustain the evaluation of processes/outcomes within and across community and setting contexts Engaged stakeholders in developing and/or conducting the evaluation Capacity to collect, synthesize, and disseminate information from the evaluation	What is the quality of outcome data and evaluation design? Are appropriate methods used? e.g., multi-setting data collection; etc.	Scale from 0 (no evidence available) to 5 (clear evidence of effectiveness from implementation in various contexts and with sufficient sample size/strong capacity for evaluation and shared measurement across sites)
2. Reach and scale	✓ Engagement of target population ✓ Reach and scale of the intervention (including geographic scope) ✓ Adoption/adaptation by settings and organizations ✓ Fidelity/fit required to retain effectiveness across scale	Involvement of community and population in the implementation Replication or expansion; growth at the sectoral level Number of individuals/sites/communities reached Successful adoption/ adaptation in different settings	Is the scaling strategy appropriate for the intervention and context?	Scale from 0 (poor reach, limited to one setting) to 5 (excellent reach; diverse settings; evidence of extensive replication or expansion and strong potential for further growth; strong scale-up strategy in place)
3. Organizational capacity	✓ Skills/competencies/ workforce; technical skills/expertise/ information systems/training ✓ Infrastructure for wider delivery	Organizational capacity and knowledge/skills to implement and evaluate across sites and settings Organizational and community/system capacity to implement the intervention	Are there resources available within the community?	Scale from 0 (limited capacity in all areas) to 5 (infrastructure is in place and has been sustained; strong capacity and skills; strong partnership development skills and evidence of capacity to leverage partnerships)
4. Partnership development	✓ Identification of relevant partners across sectors ✓ Compatibility with partner mandates and objectives ✓ Engaging vested partnerships ✓ Sustainable partnership network ✓ Breadth and diversity of partners	Common agenda across partnership sectors Knowledge exchange and uptake across partnerships Sustainable partnership investments (in-kind or financial) Established partner network across jurisdictions/sectors	Is there equity among partners? Is leadership dispersed?	Scale from 0–1 (limited number of weak partnerships) to 5 (vested partnerships across a diversity of sectors, sustainable investments, system to exchange knowledge in place and common agenda)
5. System readiness	✓ Financial/human resource capacity of existing systems ✓ Effectiveness of existing programs/policies ✓ Access, availability, and knowledge of effective interventions ✓ System, community, setting, context, capacity ✓ Compatibility with similar community infrastructure and needs	Integration levels in whole/part into existing systems Changes in policy and project design Development and reallocation of resources to implement intervention Changes required at policy and program or infrastructure level to expand	What systems is the intervention attempting to influence? Are there any policy roadblocks that will prevent adoption into the system?	Scale from 0 (lack of integration into an existing system, policy does not support interventions, no progress towards policy) to 5 (system integration, policies supportive, strong capacity, and buy-in of system, resources development, or reallocation for the intervention to be sustainable)
6. Community context	✓ Interaction of the intervention with individual, community, cultural, political, and organization/social infrastructure contexts ✓ Identification of challenges and opportunities for change ✓ Readiness of sites to implement, sustain, and evaluate the intervention	Relevance and/or compatibility to cultural context and local institutions Adaptable to different community contexts and capacity and flexible to respond to unanticipated changes in community/ institutional factors Readiness of sites for intervention implementation, evaluation, and KDE	Are there relevant political or cultural issues within the community that need to be considered?	Scale from 0 (poor interaction/compatibility of the interventions with individual, political, cultural, and social contexts) to 5 (highly relevant and compatible to cultural context and local institutions; sites have demonstrated capacity for intervention implementation, evaluation, and KDE)
7. Cost factors	✓ Cost of the tested intervention vs. alternatives ✓ Return on investment: cost-effectiveness ✓ Economies of scale ✓ Unexpected costs/unintended consequences	Cost-effectiveness of interventions’ impact in community/setting contexts Diverse funding mechanisms Network of partners that produce economies of scale for intervention reach and impact (collective impact) Unexpected costs/consequences	What is the value system of the community where the intervention is being implemented? Is additional funding or resource support available?	Scale from 0 (costs of the intervention have not been considered) to 5 (cost-effectiveness has been demonstrated through analysis, etc.)
8. Knowledge development and exchange (KDE)	✓ KDE and evaluation plan to impact decision-making and policy ✓ Readiness of KDE strategy prior to implementation and ability to account for learning and knowledge needs at various levels and across diverse audiences ✓ Ability and skills of project staff to deliver knowledge development and transfer to impact decision-making and policy development	KDE approaches are adaptable, flexible, and responsive to differences in culture, contexts, maturity, and readiness of different sites/communities Accessibility and adaptability of the knowledge developed to address needs of different sites, communities, knowledge users, and audiences Leveraged partnerships at various levels to support knowledge development, reach, uptake, and impact	Are there existing KDE materials within the organization that can be used? Is there support for developing a KDE strategy?	Scale from 0 (no KDE plan; knowledge is not accessible to the audience/user; uptake/use has not been considered) to 5 (strong knowledge exchange plan in place, etc.)

Case analysis and learning from the application of the SRAT

The PHAC-IS funded and supported innovative projects that sought to address complex population health problems and their underlying determinants in two priority areas: Equipping Canadians: Mental Health Throughout Life (2009–2018) and Achieving Healthier Weights in Canada’s Communities (2011–2020). Between 2014 and 2016, nine phase 2 mental health promotion (MHP) projects and 11 phase 2 achieving healthier weights (AHW) projects were assessed using the SRAT (Table 1) and categorized by levels of readiness (on a scale of low to high) based on their overall score (out of a possible 40 points). To be considered ready to scale up with support4, projects needed to score a 24 out of 40 and present a plan to overcome any weaknesses identified in the SRAT. Text Box 1 describes the level of readiness associated with the scores.

Text Box 1.

PHAC-IS Scale-up Readiness Assessment Tool (SRAT)—levels of scale-up readiness

High level of scale-up readiness: Evidence of readiness (minimum 3/5 across all eight domains with a total score of at least 30). No major impediments were identified. Ready to scale up with support: Evidence of readiness across at least six domains (minimum 3/5 in six domains and a total score of at least 24). A plan to overcome weaknesses is feasible with support (such as capacity building or additional funding). Project is not ready for scale-up: Evidence does not demonstrate readiness across at least six domains. A plan to overcome identified impediments is not available. Evidence for scale-up is not available: Score cannot be determined based on available information. Further research and information are required.

As a result of this assessment, six out of nine MHP projects and seven of the 11 AHW projects were considered to have achieved a “high level of readiness” or “readiness to scale up with support”. Example summaries of projects that were successfully identified as eligible for scale-up are provided in Text Boxes 2 and 3. Note that these are overarching summaries and are by no means exhaustive assessment findings. The summaries provide a snapshot of the types of interventions and their wider project infrastructure that achieved “high” scores to reveal scale-up readiness through the SRAT.

Text Box 2.

Summary of scale-up readiness assessment results for the Community Food Centres Canada (CFCC) project entitled Launching Community Food Centres in Canada: Building Health and Equity Through Food Programs in Low Income Communities (AHW project)

CFCC received a score of high on scale-up readiness, with acceptable scores across all eight domains. Clear early results: Initial results showed increases in fruit and vegetable intake in 59% of participants and healthy changes to 79% of participants’ diet after participating in the programming across community food centre (CFC) sites. Extensive reach: In the first two years of phase 2, CFCC reached close to 7250 low-income and marginalized community members through programming at four CFCs (The Table, The Local, Regent Park, and NorWest). A fifth CFC in Dartmouth, Nova Scotia, opened (which reached approximately 900 individuals in its first full year of programming) with two additional CFCs launched in Calgary, Alberta (2016), and Hamilton, Ontario (2017). Cost-effectiveness: Social return on investment analysis conducted by the project showed that $2.68 of social value is created for every dollar invested in a CFC. Knowledge and evidence to influence policy: CFCC developed two strong knowledge exchange programs (The Pod and The Good Food Organizations) focused on transforming the food bank model into a CFC model to build security and social justice. These knowledge exchange initiatives supported CFCs to have both increased depth and breadth in the way they reached and connected with organizations. The CFCC’s Good Food Organization (GFO) Program helped community food security organizations change their programmatic or organizational policies. Results from the annual GFO assessment process demonstrate clear examples of internal policy change in the member organizations: • 49% of the GFOs created or deepened a healthy food policy that guides purchases and menu choices • 93% broadened their food programming to serve multiple objectives in the area of food access, food skills, and community engagement • 73% increased material supports to enable low-income and marginalized people to participate in their programs

Text Box 3.

Summary of scale-up readiness assessment results for Centre for Addiction and Mental Health (CAMH)/University of Western Ontario entitled The Fourth R: Promoting Youth Well-being through Healthy Relationships (MHP project)

The CAMH project received a score of high on scale-up readiness, with acceptable scores across all eight domains. Clear early results: Fourth R students had higher awareness about the impact of violence on others and more knowledge about bullying and could identify better coping strategies than their counterparts in comparable non-Fourth R health classes. This evaluation was an important extension to the original randomized control trial to reveal that skills-based, healthy relationship programming had an impact on younger adolescents, but also that it was effective in a very different context (i.e., more rural, higher proportion of First Nations youth than the original evaluation in southwestern Ontario). Extensive reach: Phase 2 included a substantial scale-up of the evidence-based Fourth R project. More than 1300 educators, 1800 pre-service teachers, and 21,735 youth participated in Fourth R projects in seven provinces and territories. Knowledge and evidence to influence policy: Teachers and administrators were part of a committee that informed curriculum adaptations to create a First Nations perspective and the Fourth R project worked to overcome challenges in engaging the communities, such as competing priorities for teachers and poor turn-out for parent engagement. Coordinators with the Fourth R project worked with the Government of the Northwest Territories on Safe School Legislation, which became law in September 2016 and now embeds healthy relationships in Northwest Territories curriculum. The Northwest Territories Department of Education now supports the implementation of the Fourth R program.

These two projects provide examples of interventions that show clear early results, extensive reach, and application of knowledge and evidence to influence policy. All PHAC-IS projects were assessed in phase 2 with the SRAT with common themes emerging among projects that scored “high” on their readiness for scale-up. These themes were system readiness, organizational capacity, and policy influence combined with context-specific partnership approach, community engagement, and sustainability. Phase 2 assessment results were a strong predictor of a project’s ability to scale up and achieve long-term sustainability. Projects that scored a “high level of scale-up readiness” in phase 2 were more likely to be fully implemented into an existing or self-sustaining system (100% of projects; 4/4) within three years, compared with projects scoring “ready for scale-up with support” (11%; 1/9) or “not ready for scale-up” (0%; 0/7).

The development and application of the SRAT added value as it provided a platform for knowledge exchange at the program level, and the commitment to track and document scale-up processes as a strategic grantmaker. One of the key learnings that came from the use of this tool was the re-affirmation that scale-up is not a linear process and that assessing readiness at the organizational and systems level requires a point-in-time analysis (facilitated here by the SRAT) combined with a plan to address gaps against the domains of scale for the future. Consequently, the application of such a tool may be better suited to iterative self-assessment. With this in mind, a project-level self-assessment for scale-up readiness is planned for future funding cycles.

It should also be noted that this review is based solely on the PHAC-IS experience with scale-up. As such, the process and tool itself had several limitations. The main data collection tools (the SRAT and evaluation reports) were designed to capture information primarily for program oversight and performance, and questions in early versions of the data collection tools were not directly linked to the scale-up domains. Data needed to be drawn from a range of different questions within these sources to capture information against each domain. Since the initial development of the SRAT, data collection tools have been refined to better capture information. Nevertheless, these learnings did inform the next iteration of the SRAT, the call for proposals for phase 3, and the application process for the Mental Health Promotion Innovation Fund5. Further work to incorporate context into the evaluation process (Boileau-Falardeau et al., 2021) could provide a strengthened assessment feature.

Implications

Readiness for scale-up is an elaborate process of moving from local project orientation to expanding to another community and/or situating within a sector or network at the organizational level. It involves many interrelated conditions that reinforce one another. As exemplified by social innovation, during the time that the PHAC-IS interventions moved along the readiness spectrum, the phased approach to funding was able to support funded recipients to continually assess the network or broader system within which the intervention operated to better understand how to impact the broader social context and bring about sustainable change that supported health promotion over the long term. For practitioners or strategic funders aiming to scale effective population health interventions, the PHAC-IS provides an example of how a funding model can integrate scale-up considerations through the solicitation process (e.g., assessing evidence for intervention, organizational capacity, partnership development capacity, and system readiness) as well as program features (long-term, phased funding model).

While the SRAT provided a way to highlight successes and areas of opportunity, it was not a standalone decision-making rubric for funding decisions but existed as part of a broader framework for review, consideration, and assessment against the potential for scale-up reach and impact. Within the PHAC-IS, the SRAT was used in conjunction with an application and peer-reviewed solicitation process for selection into phase 3 funding, along with other equity considerations (e.g., geographic location, and equitable impact). It should be noted that more robust literature and knowledge has been generated on scale-up since this tool was developed in 2015 (McLean & Gargani, 2019; Nguyen et al., 2020). This paper is limited to the PHAC-IS experience of a scale-up assessment process that worked for a Canadian strategic grantmaker at the federal level and should be viewed as a starting point for others facing similar considerations.

Conclusion

Practitioners and funders interested in moving effective interventions to scale must not only remain conscious of the quality of the evidence, they must also take into account the dynamic interaction among scale-up domains and processes which can determine what works, for whom, and in what context. Scaling up effectively and sustainably depends on programming, vested partnerships, the governance model of the host organization, and learning/evidence from all aspects of the intervention. The PHAC-IS SRAT provided a framework to support how these key areas could be understood and scored as a measure of readiness for scale-up, and more importantly, identify areas of focus to support a strong approach to scale-up through a phased approach to funding. Emphasis within the PHAC-IS funding model on scale-up also served as an approach to work towards sustainability. At the conclusion of the PHAC-IS program in 2020, 82% of the phase 3 projects were able to sustain their intervention either through obtaining funding from other sources to continue or by becoming integrated (partially or fully) into an existing system through scale-up activities (Bradley Dexter et al., 2021).

Scale-up is complex and there are many external factors that influence the ability and success of a project to scale up. As noted earlier, there is no linear “roadmap” to success in social innovation. The development and application of the SRAT to measure readiness for scale-up provides insights into domains that can be applied by development practitioners, policy makers, and funding organizations to inform scale-up decisions or for community organizations to assess their own readiness for scale-up. Although this tool was not intended to be applied on its own, it has offered guideposts and insights for the PHAC-IS program to support the decision-making process to fund effective interventions that were able to make a long-term, sustainable impact in a wide range of communities and systems.

Introduction

La mise à l’échelle des interventions prometteuses en santé de la population est un effort délibéré visant à accroître la portée et l’incidence des interventions, la coordination des approches entre les contextes et les instances administratives et, enfin, la modification de l’élaboration des politiques et programmes pour promouvoir la santé au niveau de la population. Face à la pression croissante d’aborder les déterminants de la santé au sens plus large par le biais de programmes de santé de la population tout en générant des connaissances et des données probantes sur ce qui fonctionne, pour qui et dans quel contexte (Bambra et al., 2010), le concept de mise à l’échelle des interventions en santé de la population a gagné considérablement en popularité au sein des discussions théoriques (McLean & Gargani, 2019; Nguyen et al., 2020). Une étape fondamentale du processus de mise à l’échelle est l’évaluation de la capacité d’une intervention à être mise à l’échelle (Milat et al., 2020; World Health Organization, 2010). Pourtant, il existe encore peu d’exemples illustrant l’évaluation pratique de l’état de préparation à une mise à l’échelle dans le domaine de la promotion de la santé.

L’un des domaines d’intérêt de la Stratégie d’innovation de l’Agence de la santé publique du Canada (SI de l’ASPC) 6 est de comprendre les complexités de l’état de préparation organisationnelle et systémique à une mise à l’échelle. En tant que programme de financement national, la SI de l’ASPC a été conçue de manière à être un incubateur d’interventions novatrices de promotion de la santé de la population susceptibles de favoriser le changement au niveau des personnes, des collectivités et du système (Bradley Dexter et al., 2021). La SI de l’ASPC a conceptualisé la mise à l’échelle comme un processus qui augmenterait les avantages et la portée des interventions ayant fait leurs preuves, ainsi que l’accès équitable à celles-ci; et a défini la mise à l’échelle comme les efforts déployés délibérément en vue d’augmenter la portée et l’incidence des interventions de promotion de la santé de la population dont l’essai a été fructueux7. Cette approche a été intégrée au modèle de financement pour s’assurer que les interventions novatrices et communautaires profitent aux personnes et influent sur les déterminants sous-jacents plus généraux de la santé grâce à des partenariats acquis8 et aux efforts de développement et échange de connaissances (DEC) (Bradley Dexter et al., 2021; Kavanagh Salmond & Mahato, 2021; Lee & Kavanagh Salmond, 2021) et promouvoir l’élaboration de politiques et de programmes durables parmi diverses populations et collectivités.

Le présent article cherche à contribuer au discours sur la mise à l’échelle des interventions prometteuses en matière de santé de la population et plus particulièrement à l’évaluation de l’état de préparation à une mise à l’échelle en tant que défi pratique auquel sont confrontés les praticiens de la promotion de la santé et les décideurs. L’outil d’évaluation de l’état de préparation à la mise à l’échelle (OEPME) de la SI de l’ASPC est présenté comme outil en plus d’éléments à considérer pour les praticiens aux prises avec l’évaluation de l’état de préparation à une mise à l’échelle. Bien que l’OEPME ait été utilisé pour déterminer les interventions efficaces ayant une capacité de mise à l’échelle pour fournir une portée nationale et une incidence sur des systèmes plus larges, le présent document propose également des réflexions sur l’utilisation de l’outil dans le cadre plus large de prise de décision en raison de la nature non linéaire de l’innovation sociale et de la mise à l’échelle.

Milieu et intervention

De 2009 à 2020, la SI de l’ASPC a fourni des fonds à des organisations pour mettre à l’essai, offrir et évaluer des interventions en matière de santé de la population afin de déterminer comment elles ont entraîné des changements, ainsi que dans quel contexte et pour quelles populations elles ont le mieux fonctionné (Bradley Dexter et al., 2021). Bien qu’à l’origine elle ne comportait que deux phases, une phase dédiée à la mise à l’échelle des interventions fructueuses a été ajoutée à la SI de l’ASPC pour répondre aux conditions d’échelle : d’importants investissements à long terme en ressources et en temps, une compréhension du contexte en constante évolution dans lequel les interventions en matière de santé de la population opèrent et une forte capacité organisationnelle des responsables de projet et des partenaires (Mangham & Hanson, 2009; Nguyen et al., 2020; Paina & Peters, 2012).

En aidant les organisations financées à développer des partenariats intersectoriels, à réaliser des activités d’échange de connaissances et à mettre à l’échelle des interventions fructueuses, la SI de l’ASPC visait à soutenir des interventions efficaces et durables qui profiteraient au plus grand nombre de personnes possible dans diverses populations, administrations et milieux, ainsi qu’à satisfaire aux conditions requises pour un changement de systèmes plus large. Il a été possible de se faire en fournissant du financement en trois phases distinctes (figure 1) :

• Phase 1 (2009 à 2012) : le lancement et l’élaboration se sont concentrés sur la conception initiale, l’élaboration, la mise à l’essai et l’exécution des interventions sur une période initiale de 12 à 18 mois. La phase 1 comprenait l’établissement de partenariats et de réseaux entre les secteurs publics, sans but lucratif, communautaires, universitaires et privés. Cette phase a été conçue pour créer des interventions en matière de santé de la population prêtes à être évaluées et axées sur le renforcement de la capacité organisationnelle afin de commencer la mise à l’échelle et d’être offertes dans d’autres administrations au moyen d’un réseau de partenariats.

• Phase 2 (2011 à 2016) : l’exécution et l’évaluation ont soutenu la mise en œuvre complète, l’adaptation et l’évaluation des interventions globales en matière de santé de la population pour divers groupes de la population, collectivités (chacune dans au moins trois administrations différentes) et milieux sur une période d’au plus quatre ans. Le but de la phase 2 était de créer et de partager des données probantes sur la compatibilité entre les contextes communautaire et culturel, l’état de préparation à la mise en œuvre et l’incidence mesurable des interventions en matière de promotion de la santé de la population.

En 2013, les résultats des examens provisoires du rendement des projets de la phase 2 ont révélé que plusieurs projets avaient établi des partenariats acquis stratégiques (Lee & Kavanagh Salmond, 2021) dans plusieurs secteurs et commençaient à démontrer leur efficacité. Il a été proposé d’ajouter une troisième phase de financement pour évaluer la faisabilité et les processus d’une mise à l’échelle des interventions. La phase 3 a été approuvée et conçue comme suit :

• Phase 3 (2015 à 2020) : les mises à l’échelle réussies ont soutenu les efforts en vue d’augmenter la portée et l’incidence des interventions fructueuses de promotion de la santé de la population évaluées. Ce financement accru était offert dans le cadre d’un processus concurrentiel pendant une période de trois ans. Le but de cette phase était de renforcer les capacités et de créer des possibilités de mise à l’échelle d’interventions pour les mettre en œuvre dans d’autres populations et avoir une incidence sur les déterminants de la santé plus larges et soutenir l’impact mesurable.

Afin de comprendre comment évaluer l’état de préparation à une mise à l’échelle des interventions efficaces, la SI de l’ASPC s’est inspirée des publications sur l’innovation sociale selon lesquelles il n’y a pas « de feuille de route » linéaire menant à la réussite (Bradley Dexter et al., 2021). La « voie » susceptible de mener à une issue positive change en fonction de l’évolution des personnes, des situations et du temps (Westley et al., 2007). Les innovations doivent être mises à l’essai, être adaptées en continu et générer des connaissances et des données probantes sur ce qui fonctionne, pour qui et dans quel contexte pour soutenir la prise de décisions en matière de santé de la population à tous les niveaux et dans toutes les administrations, et avoir une incidence sur les changements de systèmes plus larges.

Pour influencer ces plus vastes systèmes sociaux qui ont une incidence sur la santé, le changement doit être facilité à différents niveaux pour soutenir une incidence forte et durable (Westley et al., 2007), et l’adaptation sera toujours nécessaire pour répondre aux besoins variés et croisés au niveau des collectivités et des populations. L’équipe du programme de la SI de l’ASPC s’est dès le départ concentrée sur les composantes de base de l’innovation sociale comme la complexité et la pensée systémique (Bradley Dexter et al., 2021). L’accent mis sur la recherche et l’évaluation, ainsi que sur l’établissement de partenariats tout au long des phases, a permis de rectifier le tir au besoin afin d’améliorer la conception des projets, l’apprentissage et la collaboration avec les partenaires et de jeter une base solide favorisant la durabilité et une éventuelle mise à l’échelle. Dans cet esprit, de nombreux processus de réflexion intégrés ont permis la tenue de discussions entre la SI de l’ASPC et ses projets financés et la formulation de commentaires pour orienter et adapter l’approche par étapes (Cook & Bradley Dexter, 2021). À l’origine perçu comme un outil de renforcement des capacités soutenant les projets financés dans leur mise à l’échelle et leurs interactions à plusieurs niveaux (Indig et al., 2017; World Health Organization, 2010), l’OEPME a été élaboré en tant qu’outil d’évaluation que la SI de l’ASPC a utilisé pour comprendre et analyser la capacité organisationnelle et l’état de préparation du système en vue d’une mise à l’échelle.

Méthodes

L’OEPME a été élaboré par la SI de l’ASPC en quatre étapes et comprend : un examen des documents publiés, de la littérature grise et des données issues des projets des phases 1 et 2 pour déterminer les domaines potentiels; le développement de domaines clés à inclure dans l’OEPME; l’élaboration et la détermination des critères et indicateurs de chaque domaine; et enfin, la validation des domaines et critères en consultant des experts clés et en réalisant des essais avec les utilisateurs finaux au moyen des données provenant des projets financés. Les commentaires recueillis lors de l’étape de validation ont été appliqués dans le cadre de la révision de l’OEPME et du développement de la version définitive. La figure 2 illustre le processus appliqué par la SI de l’ASPC pour élaborer un cadre d’évaluation de l’état de préparation à une mise à l’échelle.

La première étape a débuté en 2014 avec un examen de la littérature combinée à une synthèse thématique des rapports de projet et des évaluations des deux premières phases de financement. Cette étape a permis de dégager plusieurs indicateurs clés de réussite de la mise à l’échelle des interventions efficaces en matière de santé de la population. L’étape 2 consistait à affiner les indicateurs clés de réussite de la mise à l’échelle identifiés à l’étape 1 pour dresser une liste de huit domaines clés pour la mise à l’échelle. À l’étape 3, le personnel de la SI de l’ASPC a déterminé des indicateurs clés pour chacun des domaines identifiés au moyen d’un examen de la littérature et d’une analyse des rapports de projet de la SI de l’ASPC.

Les indicateurs ont été mis à l’essai en utilisant les données issues des projets de la phase 2. Les indicateurs permettant de mesurer efficacement les changements ou les progrès par rapport à un domaine spécifique lors des essais ont été inclus dans la liste définitive des indicateurs, tous les autres ont été exclus ou révisés. L’étape 4 s’est déroulée en 2015 et comprenait un atelier coordonné par la SI de l’ASPC réunissant un groupe clé de chercheurs, de projets financés, de praticiens et d’autres bailleurs de fonds gouvernementaux pour discuter des domaines et des indicateurs de mise à l’échelle déterminés pour l’outil. Les leçons tirées et les commentaires recueillis dans le cadre de cet atelier ont été intégrés dans l’OEPME, notamment pour préciser les domaines spécifiques de la mise à l’échelle et explorer la manière dont l’outil pourrait être utilisé pour soutenir les projets et les collectivités dans le processus de mise à l’échelle. Tout au long de 2014-2015, l’OEPME a été mis à l’essai et peaufiné en examinant les données provenant des rapports de projet, y compris de l’outil de rapport annuel de la Stratégie d’innovation et des rapports obligatoires d’évaluation de projet (Boileau-Falardeau et al., 2021). De plus, deux ou trois examinateurs de l’ASPC par projet ont utilisé indépendamment l’OEPME pour s’assurer qu’il était fiable et qu’il tenait compte de la variabilité entre les évaluateurs et de la subjectivité potentielle.

Résultats

L’examen, la recherche, le dialogue et les essais réalisés au cours des quatre étapes de développement de l’OEPME ont systématiquement mis en évidence huit domaines clés essentiels à la mise à l’échelle : 1) données probantes sur l’intervention et évaluation, 2) portée et échelle, 3) capacité organisationnelle, 4) établissement de partenariats, 5) état de préparation du système, 6) contexte communautaire, 7) facteurs de coût et 8) développement et échange de connaissances (DEC). En se basant sur ces travaux, l’OEPME a été conçu comme rubrique pour évaluer la possibilité pour un projet de passer d’une orientation de développement à une mise en œuvre élargie dans de multiples lieux et au niveau sectoriel (état de préparation au niveau du système). Le tableau 1 présente les domaines et les critères de l’OEPME ainsi que des exemples d’indicateurs, des considérations et un aperçu général de la notation.

Tableau 1.

Outil d’évaluation de l’état de préparation à une mise à l’échelle (OEPME) de la Stratégie d’innovation de l’ASPC

Domaines	Critères	Exemples d’indicateurs de réussite mesurés	Considérations	Notation
1. Données probantes sur l’intervention et évaluation	✓ Qualité des données probantes sur l’intervention (théorie du changement) ✓ Qualité et portée des données probantes sur l’évaluation générées par le projet ✓ Validité interne des résultats mesurés ✓ Importance accordée à l’évaluation de la validité et des processus externes en vue de la répétition ✓ Contrôle de qualité et surveillance du rendement ✓ Mesure de l’impact sur les politiques et les pratiques	Capacité à élaborer et soutenir l’évaluation des processus et des résultats au sein des collectivités et des milieux, de même que d’une collectivité ou d’un milieu à l’autre Intervenants participant à l’élaboration ou à la réalisation de l’évaluation (ou les deux) Capacité à recueillir, à synthétiser et à diffuser de l’information à partir de l’évaluation	Quelle est la qualité des données sur les résultats et de la conception de l’évaluation? Des méthodes appropriées sont-elles utilisées? P. ex. collecte de données provenant de divers milieux, etc.	Échelle de 0 (aucune donnée probante disponible) à 5 (données probantes précises sur l’efficacité de la mise en œuvre dans divers contextes, avec une taille d’échantillon suffisante ou une forte capacité d’évaluation et de mesures partagées entre les lieux)
2. Portée et échelle	✓ Participation de la population cible ✓ Portée et échelle de l’intervention (notamment au plan géographique) ✓ Adoption par le milieu et l’organisme et adaptation selon le milieu et l’organisme ✓ Fidélité et correspondance requise pour maintenir l’efficacité en passant d’une échelle à l’autre	Participation de la collectivité et de la population à la mise en œuvre Répétition ou expansion; croissance à l’échelle sectorielle Nombre de personnes, de collectivités ou de lieux touchés Adoption et adaptation réussies dans différents milieux	La stratégie de mise à l’échelle est-elle adaptée à l’intervention et au contexte?	Échelle de 0 (faible portée, limitée à un milieu) à 5 (excellente portée; milieux divers; données probantes sur la répétition ou l’expansion étendue et fort potentiel de croissance future; solide stratégie de mise à l’échelle en place)
3. Capacité organisationnelle	✓ Habiletés, qualifications, main-d’œuvre; compétences techniques, expertise, systèmes d’information, formation ✓ Infrastructure requise pour une distribution élargie	Capacités, connaissances et compétences organisationnelles nécessaires à la mise en œuvre et à l’évaluation d’un lieu ou contexte à l’autre Capacité de l’organisme et de la collectivité ou du système à mettre en œuvre l’intervention	Des ressources sont-elles disponibles au sein de la collectivité?	Échelle de 0 (capacité limitée dans tous les domaines) à 5 (infrastructure en place et entretenue; fortes capacités et compétences; solides compétences en établissement de partenariats et données probantes sur la capacité à tirer profit des partenariats)
4. Établissement de partenariats	✓ Identification des meilleurs partenaires parmi tous les secteurs ✓ Compatibilité avec les mandats et les objectifs des partenaires ✓ Mobilisation de partenaires acquis ✓ Réseau de partenariats durables ✓ Éventail et diversité des partenaires	Objectif commun entre les secteurs partenaires Échange et application des connaissances entre les secteurs Investissements de partenariats durables (en nature ou financiers) Réseau établi de partenaires entre les instances administratives ou secteurs	Y a-t-il équité entre les partenaires? Le leadership est-il dispersé?	Échelle de 0-1 (nombre limité de faibles partenariats) à 5 (partenariats acquis dans divers secteurs, investissements durables, système d’échange de connaissances en place et objectif commun)
5. État de préparation des systèmes	✓ Capacité des systèmes actuels en matière de ressources financières et humaines ✓ Efficacité des programmes et des politiques actuels ✓ Disponibilité des interventions efficaces, accès à celles-ci et connaissances connexes ✓ Capacité, contexte, système, collectivité, milieu ✓ Compatibilité avec des infrastructures ou des besoins communautaires similaires	Niveaux d’intégration en tout ou en partie dans les systèmes existants Changements en matière de conception des politiques et projet Création et réaffectation de ressources pour permettre la mise en œuvre de l’intervention Changements requis au niveau des politiques et des programmes ou des infrastructures pour prendre de l’ampleur	Quels systèmes l’intervention tente-t-elle d’influencer? Y a-t-il des obstacles politiques qui entraveront l’adoption dans le système?	Échelle de 0 (absence d’intégration dans un système existant, la politique ne soutient pas les interventions, pas de progrès au niveau des politiques) à 5 (intégration dans les systèmes, politiques de soutien, forte capacité et appui du système, création ou réaffectation de ressources pour permettre à l’intervention d’être durable)
6. Contexte communautaire	✓ Interaction de l’intervention avec les contextes individuel, communautaire, culturel, politique, et des infrastructures organisationnelles et sociales ✓ Identification des possibilités de changement et des défis s’y rattachant ✓ Préparation des lieux à la mise en œuvre, au soutien et à l’évaluation de l’intervention	Pertinence et compatibilité par rapport au contexte culturel et aux institutions locales Adaptabilité aux divers contextes et capacités des collectivités, et souplesse en vue de répondre aux changements imprévus des facteurs communautaires ou institutionnels Préparation des lieux à la mise en œuvre et à l’évaluation de l’intervention, ainsi qu’au DEC connexe	Existe-t-il des problèmes politiques ou culturels pertinents au sein de la collectivité qui doivent être pris en compte?	Échelle de 0 (mauvaise interaction ou compatibilité des interventions avec les contextes individuel, politique, culturel et social) à 5 (très pertinent et compatible avec le contexte culturel et les institutions locales; les lieux ont démontré une capacité de mise en œuvre et d’évaluation de l’intervention et de DEC connexe)
7. Facteurs de coûts	✓ Coût de l’intervention mise à l’essai comparativement aux solutions de rechange ✓ Rendement du capital investi : rentabilité ✓ Économies d’échelle ✓ Coûts imprévus et conséquences involontaires	Rentabilité des répercussions de l’intervention sur les collectivités et les milieux Mécanismes de financement diversifiés Réseau de partenaires produisant des économies d’échelle pour la portée et les répercussions de l’intervention (impact sur la collectivité) Coûts et conséquences imprévus	Quel est le système de valeurs de la collectivité où l’intervention est mise en œuvre? Du financement supplémentaire ou du soutien des ressources est-il disponible?	Échelle de 0 (les coûts de l’intervention n’ont pas été pris en compte) à 5 (la rentabilité a été démontrée par analyse, etc.)
8. Développement et échange de connaissances (DEC)	✓ Plan de DEC et d’évaluation afin d’influer sur la prise de décisions et l’établissement de politiques ✓ État de préparation de la stratégie en matière de DEC avant la mise en œuvre et capacité à tenir compte des besoins en matière d’apprentissage et de connaissances à divers échelons et parmi des publics variés ✓ Capacité et habileté du personnel affecté au projet à effectuer le développement et le transfert de connaissances afin d’influer sur la prise de décisions et l’établissement de politiques	Approches en matière de DEC compatibles, souples et réceptives aux différences entre les cultures et les milieux, ainsi qu’aux différences dans la maturité et l’état de préparation des différents lieux et collectivités Accessibilité et adaptabilité des connaissances élaborées pour répondre aux besoins des divers lieux, collectivités, utilisateurs de connaissances et publics Partenariats dont on a tiré profit à divers degrés pour soutenir le développement, la portée, la mise en application et l’impact des connaissances	L’organisation dispose-t-elle de documents de DEC qui peuvent être utilisés? Existe-t-il du soutien pour le développement d’une stratégie en matière de DEC?	Échelle de 0 (pas de plan de DEC; les connaissances ne sont pas accessibles pour le public ou les utilisateurs; la mise en application ou l’utilisation n’a pas été prise en compte) à 5 (solide plan d’échange de connaissances en place, etc.)

Analyse de cas et apprentissage de l’utilisation de l’OEPME

La SI de l’ASPC a financé et soutenu des projets novateurs qui visaient à s’attaquer à des problèmes complexes de santé de la population et à influer sur leurs déterminants sous-jacents dans deux domaines prioritaires : Outiller les Canadiens – La santé mentale pour la vie (2009 à 2018) et Atteinte du poids santé dans les collectivités du Canada (2011 à 2020). De 2014 à 2016, neuf projets de phase 2 de promotion de la santé mentale (PSM) et 11 projets de phase 2 d’atteinte du poids santé (APS) ont été évalués à l’aide de l’OEPME (tableau 1) et classés par niveaux d’état de préparation (sur une échelle de faible à élevé) en fonction de leur note globale (sur une possibilité de 40 points). Pour être considérés comme prêts à une mise à l’échelle avec soutien9, les projets devaient obtenir une note de 24 sur 40 et présenter un plan pour combler les lacunes relevées à l’aide de l’OEPME. L’encadré 1 décrit le niveau d’état de préparation associé aux notes.

Encadré 1 :

Outil d’évaluation de l’état de préparation à une mise à l’échelle (OEPME) de la SI de l’ASPC – Niveaux d’état de préparation à une mise à l’échelle

État de préparation à une mise à l’échelle élevé : Données à l’appui de l’état de préparation (au moins 3/5 dans l’ensemble des huit domaines avec une note totale d’au moins 30). Pas d’obstacles majeurs relevés. Prêt à une mise à l’échelle avec soutien : Données à l’appui de l’état de préparation dans au moins six domaines (au moins 3/5 dans six domaines et une note totale d’au moins 24). Le plan pour combler les lacunes est réalisable avec du soutien (comme le renforcement des capacités ou du financement supplémentaire). Le projet n’est pas prêt à une mise à l’échelle : Aucune donnée n’appuie l’état de préparation dans au moins six domaines. Il n’existe aucun plan permettant de combler les lacunes relevées. Aucune donnée disponible sur la mise à l’échelle : Aucune note ne peut être attribuée en fonction de l’information disponible. Des recherches et informations supplémentaires sont nécessaires.

À la suite de cette évaluation, six des neuf projets de PSM et sept des onze projets d’APS ont été jugés comme ayant atteint un « niveau élevé d’état de préparation » ou comme étant « prêt à une mise à l’échelle avec soutien ». Des exemples de résumés de projets qui ont été jugés prêts pour une mise à l’échelle sont fournis dans les encadrés 2 et 3. Il convient de noter qu’il s’agit de résumés globaux qui ne constituent en aucun cas des résultats d’évaluation exhaustifs. Les résumés donnent un aperçu des types d’interventions et de leur infrastructure générale de projet qui ont obtenu des notes « élevées » d’état de préparation à une mise à l’échelle au moyen de l’OEPME.

Encadré 2:

Résumé des résultats de l’évaluation de l’état de préparation à une mise à l’échelle du projet des Centres communautaires d’alimentation du Canada (CCAC) intitulé Lancement de centres communautaires d’alimentation au Canada : accroître la santé et l’équité grâce à des programmes alimentaires dans les collectivités à faible revenu (projet d’APS)

Les CCAC ont obtenu la note « élevé » pour l’état de préparation à une mise à l’échelle, avec des notes acceptables dans les huit domaines. Encadré 2 (suite) Résultats préliminaires clairs : Les premiers résultats révèlent une augmentation de la consommation de fruits et légumes chez 59 % des participants et des changements sains au régime alimentaire de 79 % des participants après la participation au programme dans l’ensemble des sites des centres communautaires d’alimentation (CCA). Portée étendue : Au cours des deux premières années de la phase 2, les CCAC ont rejoint près de 7 250 membres de collectivités à faible revenu et marginalisées grâce aux programmes offerts dans quatre CCA (The Table, The Local, Regent Park et NorWest). Un cinquième CCA a ouvert ses portes à Dartmouth, en Nouvelle-Écosse (qui a rejoint environ 900 personnes au cours de la première année complète de ses programmes) et deux autres CCA ont été lancés à Calgary, en Alberta (2016) et à Hamilton, en Ontario (2017). Rentabilité : L’analyse du retour sur investissement social effectuée par le projet a révélé que 2,68 $ de valeur sociale sont créés pour chaque dollar investi dans un CCA. Connaissances et données probantes pour influencer les politiques : Les CCAC ont élaboré deux solides programmes d’échange de connaissances (The Pod et The Good Food Organizations) axés sur la transformation du modèle de banque alimentaire en un modèle de CCA afin de renforcer la sécurité et la justice sociale. Ces initiatives d’échange de connaissances ont aidé les CCA à accroître l’ampleur et l’étendue de la manière dont ils rejoignent les organisations et établissent des liens avec celles-ci. Le programme Good Food Organization (GFO) des CCAC a aidé les organisations communautaires de sécurité alimentaire à modifier leurs politiques en matière de programme ou d’organisation. Les résultats du processus annuel d’évaluation du programme GFO démontrent des exemples clairs de changements de politiques internes dans les organisations membres : • 49 % des GFO ont créé ou approfondi une politique alimentaire saine qui guide les achats et les choix de menu; • 93 % ont élargi leur programme alimentaire pour atteindre plusieurs objectifs dans les domaines de l’accès aux aliments, des aptitudes alimentaires et de l’engagement communautaire; • augmentation de 73 % du soutien matériel pour permettre aux personnes à faible revenu et marginalisées de participer à leurs programmes.

Encadré 3:

Résumé des résultats de l’évaluation de l’état de préparation à une mise à l’échelle du projet du Centre de toxicomanie et de santé mentale (CAMH) et de la University of Western Ontario intitulé Le quatrième R : Promouvoir le bien-être des enfants en cultivant des relations saines (projet de PSM)

Le projet du CAMH a obtenu la note « élevé » pour l’état de préparation à une mise à l’échelle, avec des notes acceptables dans les huit domaines. Résultats préliminaires clairs : Les élèves participant au projet Le quatrième R étaient plus conscients de l’impact de la violence sur les autres, avaient plus de connaissances sur l’intimidation et pouvaient identifier de meilleures stratégies d’adaptation que leurs homologues dans des classes de santé comparables ne participant pas au projet Le quatrième R. Cette évaluation était un prolongement important de l’essai contrôlé randomisé original pour illustrer que les programmes sur les relations saines et axés sur les compétences avaient une incidence sur les plus jeunes adolescents et aussi qu’ils étaient efficaces dans un contexte très différent (c.-à-d. chez une population plus rurale comportant une proportion plus élevée de jeunes des Premières Nations que l’évaluation originale dans le sud-ouest de l’Ontario). Portée étendue : La phase 2 comprenait une mise à l’échelle importante substantielle du projet Le quatrième R fondé sur des données probantes. Plus de 1 300 éducateurs, 1 800 enseignants stagiaires et 21 735 jeunes ont participé à des projets Le quatrième R dans sept provinces et territoires. Connaissances et données probantes pour influencer les politiques : Des enseignants et administrateurs faisaient partie d’un comité chargé d’orienter les adaptations des programmes pour intégrer une perspective des Premières Nations et le projet Le quatrième R a déployé des efforts pour surmonter les défis liés à la mobilisation des collectivités, notamment à ce qui a trait aux priorités concurrentes que doivent concilier les enseignants et la faible participation des parents. Les coordonnateurs du projet Le quatrième R ont collaboré avec le gouvernement des Territoires du Nord-Ouest à la Loi sur la sécurité dans les écoles, qui est entrée en vigueur en septembre 2016 et intègre désormais des relations saines dans le programme d’études des Territoires du Nord-Ouest. Le ministère de l’Éducation des Territoires du Nord-Ouest soutient maintenant la mise en œuvre du programme Le quatrième R.

Ces deux projets fournissent des exemples d’interventions qui présentent des résultats préliminaires clairs, une portée étendue et pour lesquelles l’application des connaissances et des données probantes influence les politiques. Tous les projets de la SI de l’ASPC ont été évalués à la phase 2 à l’aide de l’OEPME et des thèmes communs se sont dégagés parmi les projets qui ont obtenu la note « élevé » en ce qui concerne leur état de préparation à une mise à l’échelle. Ces thèmes étaient l’état de préparation du système, la capacité organisationnelle et l’influence des politiques combinés à une approche en matière de partenariat spécifique au contexte, la mobilisation communautaire et la durabilité. Les résultats d’évaluation de la phase 2 étaient un bon indicateur de la capacité d’un projet à procéder à une mise à l’échelle et à atteindre une durabilité à long terme. Les projets jugés comme ayant atteint un « niveau élevé d’état de préparation à une mise à l’échelle » au cours de la phase 2 étaient plus susceptibles d’être pleinement mis en œuvre dans un système existant ou autonome (100 % des projets; 4/4) dans un délai de trois ans, comparativement aux projets jugés « prêt à une mise à l’échelle avec soutien » (11 %; 1/9) ou « pas prêt à une mise à l’échelle » (0 %; 0/7).

Le développement et l’utilisation de l’OEPME ont davantage fournit une plateforme d’échange de connaissances au niveau du programme, et l’engagement à surveiller et documenter les processus de mise à l’échelle à titre de bailleur de fonds stratégique. L’un des principaux apprentissages tirés de l’utilisation de cet outil a été la réaffirmation que la mise à l’échelle n’est pas un processus linéaire et que l’évaluation de l’état de préparation au niveau des organisations et systèmes exige une analyse ponctuelle (facilitée ici par l’OEPME) combinée à un plan pour combler les lacunes liées aux domaines d’échelle pour l’avenir. L’utilisation d’un tel outil pourrait donc être mieux adaptée à une auto-évaluation itérative. C’est pourquoi une auto-évaluation de l’état de préparation à une mise à l’échelle au niveau des projets est prévue pour les futurs cycles de financement.

Il convient également de noter que cet examen se base uniquement sur l’expérience de la SI de l’ASPC en matière de mise à l’échelle. Le processus et l’outil lui-même présentaient donc plusieurs limites. Les principaux outils de collecte de données (l’OEPME et les rapports d’évaluation) ont été conçus principalement à des fins de surveillance et de suivi du rendement du programme, et les premières versions des outils de collecte de données n’étaient pas directement liées aux domaines de mise à l’échelle. Les données devaient être tirées d’une gamme de questions différentes dans ces sources pour recueillir de l’information sur chaque domaine. Depuis le développement initial de l’OEPME, les outils de collecte de données ont été affinés afin de mieux saisir l’information. Néanmoins, ces apprentissages ont su orienter la prochaine itération de l’OEPME, l’appel de propositions pour la phase 3 et le processus de présentation d’une demande pour le Fonds d’innovation pour la promotion de la santé mentale10. Des efforts supplémentaires afin de mieux intégrer le contexte dans le processus d’évaluation (Boileau-Falardeau et al., 2021) pourraient fournir une fonction d’évaluation renforcée.

Répercussions

L’état de préparation à une mise à l’échelle est un processus élaboré consistant à passer d’une orientation locale à l’élargissement d’un projet à une autre collectivité ou à se situer au sein d’un secteur ou d’un réseau au niveau organisationnel. Cela comporte de nombreuses conditions interdépendantes qui se renforcent mutuellement. Comme en témoigne l’innovation sociale, pendant que les interventions de la SI de l’ASPC évoluaient le long du spectre de l’état de préparation, l’approche progressive de financement a pu aider les bénéficiaires du financement à évaluer de manière continue le réseau ou le système élargi dans lequel l’intervention était exécutée afin de mieux comprendre comment avoir une incidence sur le contexte social plus large et entraîner des changements durables à l’appui de la promotion de la santé à long terme. Pour les praticiens ou les bailleurs de fonds stratégiques qui souhaitent mettre à l’échelle des interventions efficaces en matière de santé de la population, la SI de l’ASPC fournit un exemple de la façon dont un modèle de financement peut intégrer des considérations de mise à l’échelle dans le processus d’appel de demandes (p. ex. évaluation des données probantes de l’intervention, de la capacité organisationnelle, de la capacité d’établissement de partenariats et de l’état de préparation du système) ainsi que des caractéristiques de programme (modèle de financement progressif à long terme).

Bien que l’OEPME ait fourni un moyen de mettre en évidence les réussites et les domaines de possibilité, ce dernier n’était pas une rubrique de prise de décisions autonome pour les décisions relatives au financement, mais faisait partie d’un cadre plus large d’examen, d’étude et d’évaluation en fonction du potentiel de portée et d’incidence accrues. Au sein de la SI de l’ASPC, l’OEPME a été utilisé conjointement avec un processus de présentation de demandes et d’appel de demandes avec examen par des pairs pour la sélection des bénéficiaires de financement dans le cadre de la phase 3, ainsi qu’avec d’autres considérations d’équité (p. ex. emplacement géographique et impact équitable). Il convient de noter qu’une littérature et des connaissances plus solides ont été générées sur la mise à l’échelle depuis l’élaboration de cet outil en 2015 (McLean & Gargani, 2019; Nguyen et al., 2020). Le présent document se limite à l’expérience de la SI de l’ASPC par rapport à un processus d’évaluation à des fins de mise à l’échelle, qui a fonctionné pour un bailleur de fonds stratégique canadien au niveau fédéral, et devrait être considéré comme un point de départ pour d’autres faisant face à des considérations semblables.

Conclusion

Les praticiens et bailleurs de fonds souhaitant mettre à l’échelle des interventions efficaces doivent non seulement demeurer conscients de la qualité des données probantes, mais doivent également tenir compte de l’interaction dynamique entre les domaines et les processus de mise à l’échelle pouvant déterminer ce qui fonctionne, pour qui et dans quel contexte. La mise à l’échelle efficace et durable dépend des programmes, des partenariats acquis, du modèle de gouvernance de l’organisation hôte ainsi que de l’apprentissage et des données probantes liés à tous les aspects de l’intervention. L’OEPME de la SI de l’ASPC a fourni un cadre pour soutenir la façon dont ces domaines clés pourraient être compris et notés à titre de mesure de l’état de préparation à une mise à l’échelle, et, plus important encore, déterminer les domaines d’intérêt pour favoriser une solide approche de mise à l’échelle au moyen d’une approche progressive de financement. L’accent mis dans le modèle de financement de la SI de l’ASPC sur la mise à l’échelle a également servi d’approche favorisant la durabilité. À la fin du programme de la SI de l’ASPC en 2020, 82 % des projets de la phase 3 ont pu maintenir leur intervention en obtenant du financement auprès d’autres sources pour poursuivre leurs activités ou en s’intégrant (partiellement ou entièrement) dans un système existant au moyen d’activités de mise à l’échelle (Bradley Dexter et al., 2021).

La mise à l’échelle est complexe et de nombreux facteurs externes influencent la capacité de mise à l’échelle d’un projet et la réussite de celle-ci. Comme indiqué précédemment, il n’existe pas de « feuille de route » linéaire pour réussir en innovation sociale. Le développement et l’utilisation de l’OEPME pour mesurer l’état de préparation à une mise à l’échelle fournissent de l’information sur les domaines qui peuvent être appliqués par les praticiens du développement, les décideurs et les organisations de financement pour éclairer les décisions de mise à l’échelle ou par les organisations communautaires pour évaluer leur propre état de préparation à une mise à l’échelle. Bien que cet outil n’ait pas été conçu pour être utilisé seul, il a offert des repères et des idées au programme de la SI de l’ASPC pour appuyer le processus décisionnel afin de financer des interventions efficaces qui ont pu avoir une incidence durable à long terme dans un large éventail de collectivités et de systèmes.

Author contributions

SBD, MC, and KR wrote the initial draft of the manuscript; LP performed data analysis and contributed to the writing; KKS and SM contributed significantly to multiple drafts; SBD had primary responsibility for final content. All authors have read and approved the final manuscript.

Funding

The Special Issue on the Public Health Agency of Canada – Innovation Strategy was funded by the Public Health Agency of Canada.

Availability of data and material

All data, reports, and materials were made available from the PHAC-IS funding program and project-level completed reports.

Code availability

N/A

Declarations

Ethics approval

N/A

Consent to participate

N/A

Consent for publication

Publication of this article has been confirmed by the Director of the Division of Mental Health and Wellbeing at PHAC.

Conflict of interest

The Government of Canada employees completed this work.