Abstract
Setting
The Public Health Agency of Canada Innovation Strategy (PHAC-IS) was a national strategic funding program designed to test, deliver, scale up and evaluate complex population health interventions to determine how they bring about change, the context in which they worked best and for which populations.
Intervention
The PHAC-IS experience provides an opportunity to reflect on the core competencies (skills, knowledge and attitudes) for strategic grantmakers to meet the goals of a national strategic funding program focused on population health intervention research.
Outcomes
A literature review, PHAC-IS content analysis, a document review and semi-structured interviews provided insight into a set of core competencies—organized by specific domains—that fostered a team focused on continuous improvement to apply learning and evidence from the funded projects to advance the goals of the strategic funding program.
Implications
Given its multiple complexities and based on the experience of the PHAC-IS team, it is proposed that funding programs aimed toward bringing change at individual and systems levels for population health promotion may draw upon a set of competencies incorporating the fields of strategic grantmaking; intervention research and evaluation; and public administration. The authors suggest that competency in the field of cultural safety is also pertinent to the successful management and leadership of public health programs, innovations and knowledge mobilization.
Mots-clés: Octroi de subventions stratégiques, santé des populations, innovation , recherche interventionnelle en santé des populations, subventions et contributions, promotion de la santé, santé publique, santé mentale, poids santé, compétences en ressources humaines, ressources humaines en santé publique, renforcement de l’esprit d’équipe, renouvellement du secteur public
Résumé
Contexte
La Stratégie d’innovation de l’Agence de la santé publique du Canada (SI de l’ASPC) était un programme national de financement stratégique conçu pour mettre à l’essai, exécuter, mettre à l’échelle et évaluer des interventions complexes en matière de santé des populations dans le but de déterminer comment elles apportent des changements et de définir le contexte dans lequel ces interventions fonctionnent le mieux et pour quelles populations.
Intervention
L’expérience de la SI de l’ASPC donne aux bailleurs de fonds stratégiques l’occasion de réfléchir aux compétences essentielles (compétences, connaissances et attitudes) pour répondre aux objectifs d’un programme national de financement stratégique axé sur la recherche interventionnelle en santé des populations.
Résultats
Une analyse documentaire, une analyse du contenu de la SI de l’ASPC, un examen des documents et des entretiens semi-structurés ont permis d’avoir une compréhension d’un ensemble de compétences essentielles—organisées par domaines spécifiques—qui ont favorisé la mise en place d’une équipe axée sur l’amélioration continue pour appliquer les enseignements et les preuves des projets financés afin de faire progresser les objectifs du programme de financement stratégique.
Implications
D’après l’expérience de l’équipe de la SI de l’ASPC et compte tenu de leurs multiples complexités, on propose que les programmes de financement visant à apporter des changements au niveau des individus et des systèmes pour la promotion de la santé des populations puissent s’appuyer sur un ensemble de compétences intégrant les domaines de l’octroi de subventions stratégiques, de la recherche et de l’évaluation interventionnelles et de l’administration publique. Les auteures laissent entendre que la compétence dans le domaine de la sécurité culturelle est également pertinente pour la gestion et la direction fructueuses des programmes de santé publique, des innovations et de la mobilisation des connaissances.
Keywords: Strategic grantmaking, Population health, Innovation, Population health intervention research, Grants and contributions, Health promotion, Public health, Mental health, Healthy weights, Human resource competencies, Public health human resources, Team building, Public sector renewal
Introduction
The Public Health Agency of Canada Innovation Strategy (PHAC-IS)1 was a national grants and contributions2 program designed to fund innovative projects3 that sought to address complex population health problems and their underlying determinants. Between 2009 and 2020, the PHAC-IS funded intervention research in two priority areas: Equipping Canadians: Mental Health throughout Life (2009–2018) and Achieving Healthier Weights in Canada’s Communities (2011–2020) (Bradley Dexter et al., 2021).
The PHAC-IS experience offers insights into strategic funding approaches within the field of population health promotion. For just over 10 years, the PHAC-IS fostered an environment of continuous improvement to adapt to the needs of funded interventions through a phased funded approach which included intervention development and testing; full implementation and intersectoral partnership development; and scale-up of successful interventions to impact systems change and benefit as many individuals as possible within the population of interest (Office of Evaluation, Health Canada and the Public Health Agency of Canada, 2015, 2019). The nested position of the PHAC-IS as a strategic grantmaking initiative within government has provided an opportunity to reflect upon the core competencies (skills, knowledge and attitudes) for strategic grantmaking and explore how they interact with specific fields of practice. It is proposed that understanding these core competencies can contribute positively to recruitment processes, capacity building and project management for similar government and philanthropic grantmakers.
Background
The field of population health intervention research (PHIR)4 informed the way the PHAC-IS identified promising practices and promoted the scale-up of effective interventions across diverse populations and communities. The PHAC-IS was positioned to build an evidence base of interventions for mental health promotion and achieving healthy weights through funding action at the individual and community levels, alongside systems-level action focused on the determinants of health. When the PHAC-IS was initially established in 2009, population health research was frequently descriptive and focused on the nature and extent of public health problems rather than identifying and testing solutions (Hawe & Potvin, 2009). Insufficient intervention research had created a critical knowledge gap. Without evidence about what worked, it was difficult for public health professionals to make informed policy and practice decisions.
The PHAC-IS model provides a case study of core competencies for grantmakers as it was designed to reflect and integrate many different fields, including strategic grantmaking, intervention research and evaluation, and public administration. Individually, these are compelling fields for exploration, since strategic grantmaking and intervention research are relatively new fields and grantmaking within public administration has been through processes of renewal as outlined by the Independent Blue Ribbon Panel on Grants and Contributions (Treasury Board of Canada Secretariat, 2006), which highlighted the need for increased accountability (Bradley Dexter et al., 2021). The PHAC-IS was delivered at the intersection of these fields to bring new thinking and approaches together within a funding model to address complex public health challenges.
Methods
A literature review was completed to identify competencies needed to support the successful management and implementation of a strategic grantmaking initiative. Competencies were also identified through an analysis of PHAC-IS practice, specifically a document review and semi-structured interviews. The analysis of key PHAC-IS documents revealed a variety of knowledge, skills and attitudes. The semi-structured interviews were completed with five key informants who had worked for the PHAC-IS or supported it as a stakeholder. Interviews were approximately 60 minutes in length and transcripts were analyzed to identify key competencies. It is recognized that this represents a small number of interviews; however, this article seeks to share these observations, along with some examples of practice by the PHAC-IS, to inform programs emphasizing PHIR and the field of strategic grantmaking.
Text box 1.
To ensure strategic grantmakers learn from and improve their approaches, they must be provided ongoing opportunities to reflect, monitor what is happening within the interventions (as well as where and why), explore how and why context is changing and identify and undertake necessary adaptations (Patrizi et al. 2013; Snow et al. 2015). The PHAC-IS incorporated learning loops as a part of its internal reflective and adaptive process. Learning loops were a way for the team to strive for continuous improvement of the funding model and gain new knowledge at multiple levels (funded project staff, program team and additional colleagues). One example of a learning loop process occurred with the information and data drawn from project reporting. As part of the funding requirements, projects reported annually on both the evaluation results of their intervention and on performance measurement data connected to their work plan. Information from the annual reporting tool was linked by program team members to program-level objectives and reported through annual core indicator reports. Key themes and findings from the project-level reporting were also analyzed to inform program-level planning. The PHAC-IS program team integrated a supportive social innovation lens to ensure that continuous improvement and innovation were part of program evolution. This allowed the PHAC-IS to support creative and interesting analyses at the program level around key themes that fed back into program design and process. This approach focused on learning and adapting to achieve desired results, rather than adherence to a static workplan. The success of this work relied on a number of program staff attributes, including: capacity to foster innovation; an ability to understand principles of population health promotion; the application and understanding of intervention research; and an ability to promote the use of evidence to develop, implement, evaluate and improve policies, programs and services. Recommendations gleaned from this analysis were systematically incorporated into several components of the program. Examples included enhancing data collection tools for guiding policy-impact evaluation and re-designing workplans/timeframes to develop meaningful, multi-sectoral partnerships. Intervention research provided a unique and transparent platform for these learning loops, further supporting greater transparency and accountability around the functioning and strategic directions of the PHAC-IS as a federal level grant and contribution program. During the implementation and scale-up phases of the PHAC-IS, several adaptations to project work plans and budgets were required to conform to the realities of project context. |
Key fields of work to inform core competencies
In order to understand the core competencies needed for the management and implementation of a government-based strategic grantmaking initiative, it is useful to explore the key fields in which this work is situated. The PHAC-IS worked at the intersection of a number of fields, specifically strategic grantmaking; intervention research and evaluation; and public administration, guided by a commitment to cultural safety. Cultural safety is an approach integrated into and across the core competencies of the program team that recognizes the modern conditions of First Nations, Métis and Inuit persons, including the underlying power dynamics and historical legacies that have created current conditions (Brascoupé & Waters, 2009). While a detailed examination of these fields is beyond the scope of this article, we will explore some challenges and offer some learnings about core competencies from working at the intersection of these fields.
Strategic grantmaking
Strategic grantmaking, from the PHAC-IS experience, embodied an ongoing process of learning and adapting to support the funded interventions, alongside delivering the broader goals of the funding program to achieve impacts at both the individual and systems levels (see Text Box 1). Strategic grantmakers perform traditional grantmaking roles (e.g., monitoring and due diligence) alongside new ones (e.g., acting as data analyst, partner, content expert, evaluator) to develop, operationalize, implement, evaluate and adapt strategy over time (Government Accountability Office, 2013; Grants Managers Network, 2016). The PHAC-IS experience revealed that strategic grantmaking requires skillful work at multiple levels, including a dynamic understanding of the capacity and context of funded organizations, in order to drive individual change within the context of broader systems change. As a result and as part of the PHAC-IS model, team members provided a capacity-building role (developing resources, methods and tools; see Bradley Dexter et al., 2021) at the project level. At the program level, team members delivered a productive role as analyst across a wide range of activities, such as reporting on evaluation frameworks and developing methods to share project and program evidence to impact policy.
Within the field of population health promotion, a funding strategy requires translation into grantmaking practice through the design of funding cycles, application processes, grant review and approval processes, and monitoring requirements (Easterling & Metz, 2016). An example of a design element in the delivery of the PHAC-IS is the solicitation criteria for the funding application process. These application materials reflected the core components of a funding program with a focus on contributing to the field of PHIR—applications were solicited from organizations that would focus not only on behaviour change, but also on systems-level impact for health promotion. Developing these materials required content knowledge of the domains of organizational capacity (e.g., partnership development; evaluation and performance measurement; intervention implementation; knowledge development and exchange) and the quality of the proposed intervention (e.g., existing evidence of effectiveness, adaptation to context, sustainability and potential return on investment). (Core competencies proposed for content knowledge and approaches are listed in Table 1, Section 5, Strategy development and implementation.)
Table 1.
1. Personal attributes | |
1.1. Capacity to foster innovation, including curiosity, creativity and an attitude of possibility, high tolerance for ambiguity and risk, and a willingness to pursue better solutions | |
1.2. Passionate about creating positive change, including a commitment to excellence and mission success that drives a focus beyond formal role requirements and tasks | |
1.3. Pragmatic and strategic, skilled at identifying and completing the most essential tasks and understanding where and how to influence key decision-making with evidence | |
1.4. High emotional and social intelligence, including connecting with and understanding the perspectives of others, building trust, listening and communicating effectively | |
1.5. Adept at moving between roles (supervise, lead, mentor) and types of work (conceptual/strategic, administrative logistics) and levels of work (project, program or organizational level) | |
1.6. Committed to reflective practice and able to learn from experience and refine approach accordingly | |
2. Critical and strategic thinking | |
2.1. Understand and critically appraise different forms of evidence, including qualitative and quantitative research, practitioner knowledge, experiential knowledge and traditional/community knowledge | |
2.2. Access, review and use evidence to understand the nature, extent, history, root causes and social/economic/political context of an issue | |
2.3. Skilled at formal and informal synthesis, including identifying connections, patterns, opportunities and challenges (for example, in data, social/economic/political/organizational context and among stakeholders) | |
3. Cultural safety | |
3.1. Reflective about own social location, power and privilege, attitudes and assumptions, and context of role as grantmaker | |
3.2. Understand the role of social determinants of health, particularly colonization and institutional discrimination, on policies and programs and the health of a community | |
3.3. Understand specific histories and cultures of traditional territories in which grantmaking takes place | |
3.4. Demonstrate a strengths perspective, encouraging a focus on community resources, skills and assets | |
3.5. Prioritize experiential knowledge of community members in developing, implementation, and evaluating and improving policies, programs and services | |
4. Team culture and capacity | |
4.1. Build and sustain a culture of trust and openness on the team to create space for candid discussion, planning, and evidence uptake | |
4.2. Build capacity of team members in areas of specialist knowledge and build content/functional expert knowledge | |
4.3. Understand how and when to expand team expertise through use of consultants or intermediaries | |
5. Strategic grantmaking: strategy development and implementation | |
5.1. Demonstrate expertise in relevant strategy issue area(s), including Population Health Intervention Research, social innovation, and community-based programs | |
5.2. Knowledge of local context, including when and how to adapt grantmaking and other initiatives to better meet local opportunities and challenges | |
5.3. Understand and demonstrate importance of strategic focus (including rationale for selected issue area, program approach and project activities) to internal and external stakeholders | |
5.4. Understand how to manage different sources of risk, such as grantee organizational capacity or the nature/design of grantee initiative | |
5.5. Recognize and support the evolving nature of strategy, including working in a developmental manner to adapt strategy to achieve desired results, rather than adhering to a static work plan | |
5.6. Operationalize strategy in solicitation and selection process | |
• Design solicitation and review materials aligned with strategy goals | |
• Coordinate involvement of external review process | |
• Critically appraise plans for intervention design and research, including existing evidence, program theory, intended mechanisms of change, research questions, methods, data sources, research rigour, community involvement, partnerships, implementation/adaptation plan, program team, budget, and relevant capacity issues | |
• Ensure common understanding and use of other considerations in assessment process, such as previous funding relationships, geographic and or/socio-demographic diversity | |
5.7. Grants management | |
• Negotiate grants with selected applicants, balancing organizational requirements with unique community, practice and academic contexts | |
• Manage grants, including ongoing assessment of grantee capacity, budget, compliance and performance | |
• Build and maintain meaningful partnerships with grantees to support implementation, understand challenges and encourage collaborative learning and decision-making | |
5.8. Strengthen grantees and broader field to increase impact on desired results | |
• Design grant stream—including type, duration and eligible uses of funding—to best strengthen projects | |
• Identify and address capacity issues at project level | |
• Understand when and how to support projects and the field through information sharing, convening, facilitating networks and/or collaborations, identifying and developing leaders, and working with other grantmakers | |
• Understand implementation science and when to work with projects regarding context, implementation, learning and adaptation | |
• Act as advocate for projects, using project experience and needs to inform decision-making at program and organizational levels | |
5.9. Understand how and when to implement exit strategies, including at the end of a funding relationship with a specific grantee and at the end of a grant across a portfolio | |
• Diplomatically manage issues that arise when an applicant is not awarded funding, including anticipating and responding to questions from the applicant alongside risk management regarding media and/or political attention | |
6. Strategic grantmaking: evaluation and performance measurement | |
6.1. Build appropriate foundation for evaluation at project, program and organization levels | |
• Understand differences among intervention research, implementation science, evaluation, monitoring and performance measurement, as well as the contributions and challenges of each at project, program and organization levels | |
• Provide appropriate evaluation capacity-building support to colleagues and projects | |
• Build common and realistic understanding of evaluation goals, questions, scope, use and limitations across internal and external stakeholders | |
• Integrate evaluative thinking, moving beyond formal focus on utilization to embed focus on learning and adapting | |
6.2. Develop program-level evaluation plan with appropriate balance of monitoring, evaluation, and performance measurement | |
• Use knowledge and critical appraisal of research and evaluation theories, methods and approaches to design evaluation plan | |
• Develop theory of change detailing context, assumptions, activities, outputs, program theory, and hypothesized mechanisms of change and intended outcomes | |
• Understand opportunities and challenges associated with evaluation of a grantmaking portfolio | |
• Balance and address tension between unique evaluation needs for each project with stakeholder expectations for analysis of program- level impact | |
• Balance focus on accountability and learning to develop monitoring and evaluation framework, with monitoring and evaluation questions, indicators, data sources, frequency of data collection and plans for analysis, use and reporting | |
6.3. Translate monitoring and evaluation framework into reporting requirements | |
• Develop reporting requirements, considering purpose, type, frequency and intended use of reporting | |
• Balance multiple roles of reporting requirements (including compliance, performance measurement, evaluation, accountability and learning) alongside consideration of administrative burden of grantees | |
6.4. Implement monitoring and evaluation plan | |
• Develop and implement additional data collection methods at program level, as required | |
• Collect, appraise, analyze and interpret data from project and program levels | |
• Draw conclusions, create recommendations and develop evaluation products | |
6.5. Use monitoring and evaluation for continuous learning, learning loops and adaptation | |
• Work collaboratively across programs and with projects to share findings, learn and adapt together | |
• Analyze and present evaluation findings with a utilization focus to inform changes to strategy, grantmaking, policy and practice | |
7. Strategic grantmaking: knowledge mobilization for impact | |
7.1. Create enabling environment for uptake of project and program findings in practice and policy | |
• Use knowledge of policy landscape and policy-making process to identify and build relationships with key decision makers | |
• Build connections or mediate relationships between projects and policy and practice decision makers | |
7.2. Prepare and position project and program findings for impact | |
• Thoughtfully synthesize evidence from funded projects with other relevant research, without oversimplifying or overstating findings | |
• Use knowledge of social, economic and political context to frame importance and potential contribution of findings to pressing policy and/or practice issues | |
• Tailor content, design and language of knowledge products to support knowledge use, recognizing different perspectives, pressures and drivers for government, political, professional and community audiences | |
• Use evidence and understanding of political environment, key stakeholders and relevant opportunities and challenges to translate findings into viable recommendations/options for consideration | |
• Monitor policy and practice environments to identify opportunities for influence | |
• Evaluate the impact of knowledge activities to inform future products and processes |
During the early stages of PHAC-IS program implementation in 2009, the program team offered highly contextualized approaches to capacity building to bridge grantee context and strategy goals. Successful capacity building is ongoing in nature and requires strategic grantmakers to identify capacity needs; determine the nature and level (project or program) of response; assess grantee readiness; identify and work with external experts when necessary; and implement and evaluate efforts (Grantmakers for Effective Organizations, 2016). Each funded PHAC-IS project was unique and required tailored supports and relationship-building to establish mutual trust and increase capacity. Trust forms the foundation for candid discussions about capacity and for the grantmaker to be seen as a trusted source of knowledge (Grantmakers for Effective Organizations, 2016). In order to achieve these goals, PHAC-IS program team members delivered on the program components of capacity building and knowledge development and exchange with the funded projects. Trust and partnership for knowledge development were key within the PHAC-IS for strategic grantmaking and grantees are approached as knowledgeable partners and allies, rather than passive contractors (Patrizi et al., 2013). Built on a shared commitment, these partnerships balance a focus on strategy with the reality and opportunities on the ground (Patrizi et al., 2013). (Core competencies connected to capacity building are listed in Table 1 under Section 1 Personal attributes and Section 5 Strategy development and implementation.)
Intervention research and evaluation
While the fields of intervention research and evaluation utilize similar methods to explore the processes, outcomes and/or impacts within interventions, meaningful distinctions separate them, such as source of funding, scope of research and intended use of results (Hawe & Potvin, 2009). During the experience of the PHAC-IS, grantmakers needed expertise in both intervention research occurring at a project level and evaluation activities at the program and/or organization level.
Critically appraising and supporting PHIR projects requires grantmakers to have adequate capacity in specific PHIR competencies, such as foundational knowledge in intervention research; managing, designing and implementing intervention research projects; knowledge exchange; and reflective research (Riley et al., 2015). Strategic grantmakers also require knowledge and skills to undertake a wide array of evaluation activities, including individual project-, program- and portfolio-level evaluations and program- or organization-level performance measurement (Coffman et al., 2013). This work demands a balance between evaluation for accountability and evaluation for learning. The latter is critical for strategic grantmakers, but it is often outside traditional evaluation skillsets (Coffman et al., 2013).
In the experience of the PHAC-IS, projects were required to conduct intervention research and knowledge exchange for practice and policy change. Monitoring and evaluating efforts to influence policy helped with ongoing planning and calibration of project work. In order to learn and build capacity to evaluate policy influence, the PHAC-IS team worked with a contractor to develop “A Guide to Policy-Influence Evaluation” (Cathexis, 2015) which included several case studies from funded projects. This process of developing tools for learning and the evaluation of policy helped members of the PHAC-IS team develop and apply a broader mix of synthesis, evaluation and knowledge mobilization skills.
Meaningful evaluation also requires grantmakers to navigate many potential challenges, such as ensuring the right fit between intervention and evaluation design, attribution/contribution issues, evaluation capacity, collecting the right data to inform learning, balancing diverse project-level data with the need to tell a program-level story, and meeting the evaluation needs of different stakeholders (Coffman et al., 2013). The PHAC-IS projects focused on complex issues and projects were implemented in very different contexts, making it difficult to make cross-project comparisons. Program staff developed a broad range of adaptable program-level evaluation processes and tools to capture program-level learnings without diluting individual project findings. The ability to concurrently manage project and portfolio needs to create a broad range of evaluation processes at the program level was a key competency to support strategic grantmaking. (For details on the core competencies connected to intervention research and evaluation for a funding program focused on PHIR, see Table 1, Section 6 Evaluation and performance measurement.)
Public administration
The majority of research on strategic grantmaking stems from philanthropic foundations, but there are unique challenges and opportunities associated with strategic grantmaking in government. A changing bureaucratic landscape provides further backdrop for this work, with a focus on public service renewal and a call for greater accountability (Barber et al., 2011; Charette, 2015; Government of Canada, 2016; Jarvis, 2016). As a result, there are opportunities to introduce funding models such as the PHAC-IS that reflect a population health approach and mobilize partners in various sectors along with action at the individual and systems levels.
Strategic grantmakers often target influence and impact across external audiences, including diverse sectors and jurisdictions. In addition, strategic grantmaking in government also offers a unique opportunity to drive policy and practice change as an internal partner. Evidence generated through strategic grantmaking is well aligned with public sector renewal and the characteristics of a high-performing civil service, such as innovation, accountability, collaboration and evidence-informed analysis (Jarvis, 2016).
The PHAC-IS had a specific objective to foster knowledge mobilization between funded projects; within PHAC; and with external stakeholders to inform policy and practice. Over an 11-year period, the PHAC-IS grantmakers designed a wide variety of knowledge mobilization workshops on project/program results with various audiences. PHAC-IS grantmakers also promoted unique aspects of the funding model, such as the length of funded time required to support systems-level changes along with individual change; the focus on evidence generation and tool development; evaluation and performance measurement; and scaling up of promising interventions. Sharing the examples of impact and evidence from this model encouraged other funding programs within PHAC’s Centre for Health Promotion to adopt similar elements (Office of Audit and Evaluation, Health Canada and the Public Health Agency of Canada, 2019). Knowledge mobilization to guide policy and innovation is a key competency area for strategic grants staff in the public service. (Core competencies for knowledge mobilization are outlined in Table 1, Section 7 Knowledge mobilization for impact.)
Outcomes
The information in this section is synthesized and adapted from PHAC-IS materials, interviews and the following literature: Baba (2013), Canada’s Public Policy Forum (2014), Canadian Evaluation Society (2010), Cardona (2015), Council on Linkages Between Academia and Public Health Practice (2014), Easterling and Metz (2016), Emery and Crump (2006), Government Accountability Office (2013), Harris and Lusk (2010), Hunt (2015), MetisNet (2008), Metz and Easterling (2016), PHAC (2008), Riley et al. (2015), Sherman (2011) and Straus et al. (2011).
A detailed list of core competencies organized by domain is provided in Table 1. The suggested core competencies include skills, attitudes and knowledge for program staff in the management and implementation of a strategic funding program. This encompasses (1) personal attributes, (2) critical and strategic thinking, (3) cultural safety, (4) team culture and capacity, (5) strategy development and implementation, (6) evaluation and performance measurement and (7) knowledge mobilization for impact.
The nature of strategic grantmaking to fund intervention research demands considerable depth and range in core competencies. To be more manageable, this list focuses predominantly on the more specific or nuanced competencies required for this work and includes only a cursory mention of more basic competencies in established domains. For example, sound judgement and a commitment to ethical conduct are standard expectations for public service employees, and basic skills (e.g., understanding of knowledge development and exchange models, knowledge of federalism and policy development context) should be assumed as preconditions for more sophisticated competencies. Less established domains, particularly the role of strategic grantmakers within knowledge mobilization for impact, are outlined.
Overall, these core competencies shaped the delivery of a strategic grant program alongside the mobilization of evidence for impact at individual, project and systems levels. While they were developed specifically to understand the skills and expertise essential to deliver the PHAC-IS program, the importance of these attributes is shared with other funding organizations, researchers and practitioners who work to develop and share knowledge about what works to improve public health.
Implications
Advancing and integrating many fields concurrently within strategic grantmaking requires a foundation of curiosity, commitment and drive to deliver a strategic funding model that embodied innovation, discovery and a commitment to learning and improvement. The findings from this article have considerable relevance across diverse audiences:
Strategic grantmaking requires skillful work of the program team at multiple levels and includes an ongoing process of continuous improvement and learning focused on achieving desired results.
Within strategic grantmaking, there are several drivers to integrate cultural safety into core competencies, including the recognition of Canada’s colonial legacy and improving opportunities to reduce health inequities with Indigenous populations.
A focus on evaluation for learning is essential and involves a broad mix of monitoring, facilitating, synthesis and problem-solving skills to explore and adapt a strategy in progress.
Learning loops play an important role as grantmakers cannot assume their strategy is always correct; innovations do not emerge fully formed, they succeed through tinkering and experimentation in practice.
The translation of evidence into change is not straightforward. Evidence is only one factor in decision-making and a knowledge mobilization process must be developed to translate evidence into policy or practice options. Additional partnerships with knowledge brokers supports increased reach and impact.
Conclusion
The nature of the PHAC-IS as a government-based strategic grantmaking initiative focused on intervention research and long-term, sustained population health promotion through systems change provides a case study for the exploration of core competencies. Understanding these competencies can help philanthropic and government grantmakers appreciate the skills they need to support strategic grantmaking and knowledge mobilization of project and program evidence. Although these competencies are viewed here through a lens of grantmaking, it is proposed they are also pertinent to the successful management and leadership of public health promotion programs.
Compétences essentielles pour l’octroi de subventions stratégiques : leçons apprises de la Stratégie d’innovation
Introduction
La Stratégie d’innovation de l’Agence de la Santé publique du Canada5 (SI de l’ASPC) était un programme national de subventions et de contributions6 financé pour appuyer des projets7 novateurs qui visaient à étudier de complexes problèmes de santé des populations ainsi que leurs déterminants sous-jacents. Entre 2009 et 2020, la SI de l’ASPC a financé la recherche interventionnelle dans deux domaines prioritaires, soit Outiller les Canadiens : la santé mentale pour la vie (2009–2018) et l’Atteinte du poids santé dans les collectivités du Canada (2011–2020) (Bradley Dexter et al., 2021).
L’expérience de la SI de l’ASPC offre un aperçu des approches stratégiques de financement dans le domaine de la promotion de la santé des populations. Au cours des dix dernières années seulement, la SI de l’ASPC a promu un environnement d’amélioration continue pour s’adapter aux besoins des interventions financées grâce à une approche par étapes. Cette approche comprenait l’élaboration et la mise à l’essai des interventions; la mise en œuvre complète et le développement de partenariats intersectoriels; et la mise à l’échelle des interventions réussies pour influer sur le changement des systèmes et en faire profiter au plus grand nombre possible de personnes au sein de la population visée (Office of Evaluation, Health Canada and PHAC, 2015, 2019). La position emboîtée de la SI de l’ASPC en tant qu’initiative stratégique d’octroi de subventions au sein du gouvernement a donné l’occasion de réfléchir aux compétences essentielles (compétences, connaissances et attitudes) pour les bailleurs de fonds stratégique et d’explorer la manière dont elles interagissent avec des domaines de pratique particuliers. On laisse entendre que la compréhension de ces compétences essentielles peut contribuer positivement aux processus de recrutement, au renforcement des capacités et à la gestion de projets pour des bailleurs de fonds gouvernementaux et philanthropiques similaires.
Contexte
Le domaine de la recherche interventionnelle en santé des populations (RISP8) a éclairé la façon dont la SI de l’ASPC cernait les pratiques prometteuses et a favorisé la mise à l’échelle des interventions efficaces auprès de diverses populations et collectivités. La SI de l’ASPC était bien placée pour constituer une base de données probantes sur les interventions de promotion de la santé mentale et d’atteinte d’un poids santé grâce à des mesures de financement au niveau individuel et communautaire, parallèlement aux mesures au niveau des systèmes axées sur les déterminants de la santé. Lorsque la SI de l’ASPC a été créée en 2009, la recherche sur la santé des populations était souvent descriptive et se concentrait davantage sur la nature et l’étendue des problèmes de santé publique plutôt que sur la détermination et la mise à l’essai des solutions (Hawe & Potvin, 2009). L’insuffisance de recherche interventionnelle a créé un manque critique de connaissances. En l’absence de données probantes sur ce qui fonctionne, il était difficile pour les professionnels de la santé publique de prendre des décisions politiques et pratiques en connaissance de cause.
Le modèle de la SI de l’ASPC fournit une étude de cas des compétences essentielles pour les bailleurs de fonds stratégiques étant donné qu’il a été conçu pour se faire l’écho de nombreux domaines différents (et les intégrer), notamment l’octroi de subventions stratégiques, la recherche et l’évaluation interventionnelles et l’administration publique. Individuellement, ce sont des domaines à explorer, vu que l’octroi de subventions stratégiques et la recherche interventionnelle sont des domaines relativement nouveaux et l’octroi de subventions stratégiques au sein de l’administration publique a subi des processus de renouvellement tel que décrit par le Groupe d’experts indépendants sur les programmes de subventions et contributions (Treasury Board of Canada Secretariat, 2006), qui a souligné la nécessité d’une responsabilisation accrue (Bradley Dexter et al., 2021). La SI de l’ASPC a été exécutée à l’intersection de ces domaines pour amener de nouvelles réflexions et approches au sein d’un modèle de financement afin de relever des défis complexes en matière de santé publique.
Méthodologie
Une analyse documentaire a été complétée pour cerner les compétences nécessaires au soutien de la gestion et de la mise en œuvre fructueuses d’une initiative stratégique d’octroi de subventions. De plus, les compétences ont été définies grâce à une analyse de la pratique de la SI de l’ASPC, plus particulièrement un examen des documents et des entretiens semi-structurés. L’analyse des documents clés de la SI de l’ASPC a révélé un éventail de connaissances, de compétences et d’attitudes. Des entretiens semi-structurés ont été réalisés avec cinq informateurs clés qui avaient travaillé pour la SI de l’ASPC ou qui la soutenaient en qualité d’intervenant. Les entretiens ont duré environ 60 minutes; les transcriptions ont été analysées afin de cerner les compétences clés. On reconnaît que le nombre d’entretiens est peu élevé. Toutefois, le présent article cherche à communiquer ces observations, ainsi que quelques exemples de pratique par la SI de l’ASPC, dans le but de contribuer aux programmes mettant l’accent sur la RISP et le domaine de l’octroi de subventions stratégiques.
Encadré 1.
Pour que les bailleurs de fonds stratégiques tirent des leçons de leurs approches et les améliorent, il faut leur offrir des possibilités permanentes de réfléchir, de suivre ce qui se passe dans le cadre des interventions (ainsi que où et pourquoi), d’explorer comment et pourquoi le contexte change et de cerner les adaptations nécessaires, puis les entreprendre (Patrizi et al. 2013; Snow et al. 2015). La SI de l’ASPC a intégré des boucles d’apprentissage à son processus interne de réflexion et d’adaptation. Les boucles d’apprentissage ont permis à l’équipe de consacrer des efforts pour améliorer continuellement le modèle de financement et acquérir de nouvelles connaissances à plusieurs niveaux (personnel du projet financé, équipe du programme et collègues supplémentaires). Les renseignements et les données tirés des rapports de projet constituent un exemple de processus d’apprentissage en boucle. Dans le cadre des exigences de financement, les projets ont donné lieu à des rapports annuels sur les résultats d’évaluation de leur intervention et sur les données de mesure des performances liées à leur plan de travail. Les renseignements provenant de l’outil de rapport annuel ont été liés aux objectifs du programme par les membres de l’équipe du programme et ont été inclus dans les rapports annuels sur les indicateurs fondamentaux. De plus, on a analysé les thèmes clés et les conclusions des rapports au niveau des projets afin d’éclairer la planification au niveau des programmes. L’équipe du programme de la SI de l’ASPC a intégré une optique d’innovation sociale de soutien pour s’assurer que l’amélioration et l’innovation continues font partie de l’évolution du programme. Ainsi, la SI de l’ASPC a pu soutenir des analyses créatives et intéressantes au niveau du programme en ce qui a trait à des thèmes clés qui ont été repris dans la conception et le processus du programme. Cette approche a mis l’accent sur l’apprentissage et l’adaptation pour atteindre les résultats souhaités, plutôt que sur l’adhésion à un plan de travail statique. Le succès de ces travaux repose sur un certain nombre d’attributs du personnel du programme, notamment : la capacité de favoriser l’innovation; la capacité de comprendre les principes de la promotion de la santé des populations; l’application et la compréhension de la recherche interventionnelle; et la capacité à promouvoir l’utilisation de données probantes pour élaborer, mettre en œuvre, évaluer et améliorer les politiques, les programmes et les services. Les recommandations issues de cette analyse ont été systématiquement intégrées dans plusieurs composantes du programme. Il s’agit notamment d’améliorer les outils de collecte de données pour guider l’évaluation de l’impact des politiques et de revoir les plans de travail et les échéanciers afin de mettre en place d’importants partenariats multisectoriels. La recherche interventionnelle a fourni une plateforme unique et transparente pour ces boucles d’apprentissage, favorisant une transparence et une responsabilisation plus grandes en ce qui concerne le fonctionnement et les orientations stratégiques de la SI de l’ASPC en tant que programme fédéral de subventions et contributions. Au cours des phases de mise en œuvre et de mise à l’échelle de la SI de l’ASPC, il a fallu effectuer plusieurs adaptations des plans de travail et des budgets des projets afin de se conformer aux réalités du contexte du projet. |
Boîte de texte 1: Boucles d’apprentissage : favoriser l’amélioration continue
Pour que les bailleurs de fonds stratégiques tirent des leçons de leurs approches et les améliorent, il faut leur offrir des possibilités permanentes de réfléchir, de suivre ce qui se passe dans le cadre des interventions (ainsi que où et pourquoi), d’explorer comment et pourquoi le contexte change et de cerner les adaptations nécessaires, puis les entreprendre (Patrizi et al., 2013; Snow et al., 2015). La SI de l’ASPC a intégré des boucles d’apprentissage à son processus interne de réflexion et d’adaptation. Les boucles d’apprentissage ont permis à l’équipe de consacrer des efforts pour améliorer continuellement le modèle de financement et acquérir de nouvelles connaissances à plusieurs niveaux (personnel du projet financé, équipe du programme et collègues supplémentaires).
Les renseignements et les données tirés des rapports de projet constituent un exemple de processus d’apprentissage en boucle. Dans le cadre des exigences de financement, les projets ont donné lieu à des rapports annuels sur les résultats d’évaluation de leur intervention et sur les données de mesure des performances liées à leur plan de travail. Les renseignements provenant de l’outil de rapport annuel ont été liés aux objectifs du programme par les membres de l’équipe du programme et ont été inclus dans les rapports annuels sur les indicateurs fondamentaux. De plus, on a analysé les thèmes clés et les conclusions des rapports au niveau des projets afin d’éclairer la planification au niveau des programmes. L’équipe du programme de la SI de l’ASPC a intégré une optique d’innovation sociale de soutien pour s’assurer que l’amélioration et l’innovation continues font partie de l’évolution du programme. Ainsi, la SI de l’ASPC a pu soutenir des analyses créatives et intéressantes au niveau du programme en ce qui a trait à des thèmes clés qui ont été repris dans la conception et le processus du programme. Cette approche a mis l’accent sur l’apprentissage et l’adaptation pour atteindre les résultats souhaités, plutôt que sur l’adhésion à un plan de travail statique. Le succès de ces travaux repose sur un certain nombre d’attributs du personnel du programme, notamment : la capacité de favoriser l’innovation; la capacité de comprendre les principes de la promotion de la santé des populations; l’application et la compréhension de la recherche interventionnelle; et la capacité à promouvoir l’utilisation de données probantes pour élaborer, mettre en œuvre, évaluer et améliorer les politiques, les programmes et les services.
Les recommandations issues de cette analyse ont été systématiquement intégrées dans plusieurs composantes du programme. Il s’agit notamment d’améliorer les outils de collecte de données pour guider l’évaluation de l’impact des politiques et de revoir les plans de travail et les échéanciers afin de mettre en place d’importants partenariats multisectoriels. La recherche interventionnelle a fourni une plateforme unique et transparente pour ces boucles d’apprentissage, favorisant une transparence et une responsabilisation plus grandes en ce qui concerne le fonctionnement et les orientations stratégiques de la SI de l’ASPC en tant que programme fédéral de subventions et contributions. Au cours des phases de mise en œuvre et de mise à l’échelle de la SI de l’ASPC, il a fallu effectuer plusieurs adaptations des plans de travail et des budgets des projets afin de se conformer aux réalités du contexte du projet.
Principaux domaines de travail pour éclairer les compétences fondamentales
Afin de comprendre les compétences fondamentales nécessaires à la gestion et à la mise en œuvre d’une initiative gouvernementale stratégique d’octroi de subventions, il est utile d’explorer les principaux domaines dans lesquels ce travail se situe. La SI de l’ASPC a travaillé à l’intersection de plusieurs domaines, notamment l’octroi de subventions stratégiques, la recherche et l’évaluation interventionnelles et l’administration publique. Elle est orientée par un engagement envers la sécurité culturelle qui est une approche intégrée aux compétences fondamentales de l’équipe du programme; elle reconnaît les conditions modernes des Premières Nations, des Métis et des Inuits, y compris les dynamiques de pouvoir sous-jacentes et les héritages historiques qui ont créé les conditions actuelles (Brascoupé & Waters, 2009). Bien qu’un examen détaillé de ces domaines dépasse la portée du présent article, nous allons tout de même explorer certains défis et aborder quelques leçons sur les compétences fondamentales tirées en travaillant à l’intersection de ces domaines.
Octroi de subventions stratégiques
L’octroi de subventions stratégiques, issu de l’expérience de la SI de l’ASPC, a incarné un processus continu d’apprentissage et d’adaptation à l’appui des interventions financées, parallèlement à la réalisation des objectifs plus généraux du programme de financement pour obtenir des impacts tant au niveau individuel qu’au niveau des systèmes (voir l’encadré 1). Les bailleurs de fonds stratégiques jouent des rôles conventionnels (p. ex. suivi et diligence raisonnable) en plus de nouveaux rôles (comme agir en tant qu’analyste de données, partenaire, expert de contenu et évaluateur) pour élaborer, opérationnaliser, mettre en œuvre, évaluer et adapter la stratégie au fil du temps (Government Accountability Office, 2013; Grants Managers Network, 2016). L’expérience de la SI de l’ASPC a révélé que l’octroi de subventions stratégiques exige un travail habile à plusieurs niveaux, notamment une compréhension dynamique de la capacité et du contexte des organismes financés, afin de susciter des changements individuels dans le cadre d’une évolution plus générale des systèmes. Par conséquent et dans le cadre du modèle de la SI de l’ASPC, les membres de l’équipe ont joué un rôle dans le renforcement des capacités (développement de ressources, méthodologies et outils; voir Bradley Dexter et al., 2021) à l’échelle de projet. Au niveau du programme, les membres de l’équipe ont joué un rôle productif en tant qu’analyste dans un large éventail d’activités telles que la production de rapports sur les cadres d’évaluation et l’élaboration de méthodes de communication des données probantes des projets et des programmes afin d’avoir une incidence sur les politiques.
Dans le domaine de la promotion de la santé des populations, une stratégie de financement doit se traduire par la pratique de l’octroi de subventions grâce à la conception de cycles de financement, de processus de demande, de processus d’examen et d’approbation des subventions ainsi que d’exigences de suivi (Easterling & Metz, 2016). Les critères de sollicitation pour le processus de demande de financement constituent un exemple d’élément de conception dans la mise en œuvre de la SI de l’ASPC. Ces documents de demande se faisaient l’écho des composantes essentielles d’un programme de financement visant à contribuer au domaine de la RISP – des demandes ont été sollicitées auprès d’organismes qui ne mettaient pas seulement l’accent sur le changement comportemental, mais aussi sur l’incidence à l’échelle des systèmes aux fins de promotion de la santé. Pour élaborer ces documents, il a fallu une connaissance du contenu des domaines de la capacité organisationnelle (p. ex. élaboration de partenariats, évaluation et mesure du rendement, mise en œuvre de l’intervention, développement et échange de connaissances) et de la qualité de l’intervention proposée (p. ex. preuves existantes de l’efficacité, adaptation au contexte, durabilité et rendement du capital investi éventuel). Les compétences fondamentales proposées pour la connaissance du contenu et les approches sont énumérées dans le tableau 1, section 5, Élaboration et mise en œuvre de la stratégie).
Tableau 1.
1. Qualités personnelles | |
1.1. Capacité de favoriser l’innovation, y compris la curiosité, la créativité et une attitude de possibilité, une grande tolérance pour l’ambiguïté et le risque, et la volonté de rechercher de meilleures solutions. | |
1.2. Passionné par la création de changements positifs, y compris un engagement envers l’excellence et le succès de la mission qui incite à aller au-delà des exigences et des tâches formelles du rôle. | |
1.3. Pragmatique et stratégique, capable de cerner et de mener à bien les tâches les plus essentielles et de comprendre où et comment influencer la prise de décisions clés à l’aide de données probantes. | |
1.4. Forte intelligence émotionnelle et sociale, notamment pour établir un lien avec autrui et comprendre différents points de vue, établir la confiance, écouter et communiquer efficacement. | |
1.5. Capable de passer d’un rôle (supervision, leadership, mentorat) à un autre ainsi qu’à un autre type de travail (conceptuel/stratégique, logistique administrative) et à un autre niveau de travail (projet, programme ou niveau organisationnel). | |
1.6. Engagé dans une pratique réfléchie et capable de tirer des enseignements de l’expérience et d’affiner son approche en conséquence. | |
2. Esprit critique et pensée stratégique | |
2.1. Comprendre et évaluer de manière critique différentes formes de données probantes, y compris la recherche qualitative et quantitative, les connaissances des praticiens, les connaissances expérientielles et les connaissances traditionnelles et communautaires. | |
2.2. Accéder, examiner et utiliser les données probantes pour comprendre la nature, l’étendue, l’historique, les causes fondamentales et le contexte social/économique/politique d’un problème. | |
2.3. Avoir les compétences en matière de synthèse formelle et informelle, y compris la détermination des liens, des modèles, des possibilités et des défis (p. ex. en ce qui concerne les données, le contexte social/économique/politique/organisationnel et au sein des intervenants). | |
3. Sécurité culturelle | |
3.1. Faire preuve de réflexion sur sa propre position sociale, son pouvoir et ses privilèges, ses attitudes et ses hypothèses ainsi que sur le contexte de son rôle de bailleurs de fonds. | |
3.2. Comprendre le rôle des déterminants sociaux de la santé, en particulier la colonisation et la discrimination institutionnelle sur les politiques et les programmes, de même que sur la santé d’une communauté. | |
3.3. Comprendre les histoires et les cultures propres aux territoires traditionnels dans lesquels des subventions sont octroyées. | |
3.4. Démontrer une perspective de points forts, en favorisant la focalisation sur les ressources, les compétences et les atouts de la collectivité. | |
3.5. Donner la priorité aux connaissances expérientielles des membres de la collectivité dans l’élaboration, la mise en œuvre et l’évaluation et l’amélioration des politiques, des programmes et des services. | |
4. Culture et capacité de l’équipe | |
4.1. Créer et maintenir une culture de confiance et d’ouverture au sein de l’équipe afin de créer un environnement propice aux discussions, à la planification et à l’exploitation des données probantes. | |
4.2. Renforcer les capacités des membres de l’équipe dans les domaines de connaissances spécialisées et développer les connaissances spécialisées fonctionnelles et de contenu. | |
4.3. Comprendre comment et quand élargir l’expertise de l’équipe en faisant appel à des consultants ou à des intermédiaires. | |
5. Octroi de subventions stratégiques: élaboration et mise en œuvre de la stratégie | |
5.1. Démontrer une expertise dans un ou plusieurs domaines stratégiques pertinents, notamment la recherche interventionnelle en santé des populations, l’innovation sociale et les programmes communautaires. | |
5.2. Connaître le contexte local, y compris quand et comment adapter l’octroi de subventions et d’autres initiatives pour mieux répondre aux possibilités et aux défis locaux. | |
5.3. Comprendre et démontrer l’importance de l’orientation stratégique (y compris la justification du domaine choisi, l’approche du programme et les activités du projet) aux intervenants internes et externes. | |
5.4. Comprendre comment gérer les différentes sources de risque, telles que la capacité organisationnelle du bénéficiaire ou la nature/la conception de l’initiative du bénéficiaire. | |
5.5. Reconnaître et appuyer la nature évolutive de la stratégie, notamment en travaillant dans une optique du développement de manière à adapter la stratégie afin d’atteindre les résultats souhaités, plutôt que d’adhérer à un plan de travail statique. | |
5.6. Opérationnaliser la stratégie dans le processus de sollicitation et de sélection. | |
• Concevoir des documents de sollicitation et d’examen correspondant aux objectifs de la stratégie. | |
• Coordonner la participation du processus d’examen externe. | |
• Évaluer de manière critique les plans de conception d’intervention et de recherche, y compris les données probantes existantes, la théorie du programme, les mécanismes voulus de changement, les questions de recherche, les méthodes, les sources de données, la rigueur de la recherche, la participation communautaire, les partenariats, le plan de mise en œuvre/d’adaptation, l’équipe du programme, le budget et les questions de capacité pertinentes. | |
• Assurer une compréhension et une utilisation communes d’autres facteurs dans le processus d’évaluation, notamment les relations de financement antérieures ainsi que la diversité géographique et/ou sociodémographique. | |
5.7. Gestion des subventions. | |
• Négocier les subventions avec les candidats sélectionnés, en équilibrant les exigences organisationnelles avec les contextes communautaires, pratiques et universitaires uniques. | |
• Gérer les subventions, y compris l’évaluation continue des capacités, du budget, de la conformité et du rendement des titulaires de subvention. | |
• Établir et maintenir des partenariats importants avec les titulaires de subvention pour appuyer la mise en œuvre, comprendre les défis et favoriser l’apprentissage et la prise de décisions en collaboration. | |
5.8. Soutenir les titulaires de subvention et élargir le champ d’action pour accroître l’incidence sur les résultats souhaités. | |
• Concevoir un volet de subvention – y compris le type, la durée et les utilisations admissibles du financement – pour renforcer au mieux les projets. | |
• Cerner et traiter les problèmes de capacité au niveau du projet. | |
• Comprendre quand et comment appuyer les projets et le domaine grâce au partage de renseignements, aux rassemblements, à la facilitation de réseaux et/ou de collaborations, à la détermination et au perfectionnement des dirigeants et à la collaboration avec d’autres bailleurs de fonds. | |
• Comprendre la science de la mise en œuvre et savoir quand travailler avec des projets concernant le contexte, la mise en œuvre, l’apprentissage et l’adaptation. | |
• Défendre les projets, en utilisant l’expérience et les besoins des projets pour éclairer la prise de décisions à l’échelle des programmes et de l’organisme. | |
5.9. Comprendre quand et comment mettre en œuvre des stratégies de sortie, y compris à la fin d’une relation de financement avec un titulaire particulier et à la fin d’une subvention dans un portefeuille. | |
• Gérer de manière diplomatique les problèmes qui surviennent lorsqu’un candidat n’obtient pas de financement, notamment anticiper les questions du candidat et y répondre, en plus de gérer les risques liés à l’attention médiatique et/ou politique. | |
6. Octroi de subventions stratégiques : évaluation et mesure du rendement | |
6.1. Établir un fondement approprié pour l’évaluation aux niveaux organisationnel, des projets et des programmes. | |
• Comprendre les différences entre la recherche interventionnelle, la science de la mise en œuvre, l’évaluation, le suivi et la mesure du rendement, ainsi que les contributions et les défis connexes à l’échelle des projets, des programmes et des organismes. | |
• Fournir un soutien approprié au renforcement des capacités d’évaluation des collègues et des projets. | |
• Élaborer une compréhension commune et réaliste des objectifs, des questions, de la portée, de l’utilisation et des limites de l’évaluation au niveau des intervenants internes et externes. | |
• Intégrer l’esprit d’évaluation, en allant au-delà de l’accent mis officiellement sur l’utilisation, de manière à se concentrer sur l’apprentissage et l’adaptation. | |
6.2. Élaborer un plan d’évaluation au niveau du programme avec un équilibre approprié entre le suivi, l’évaluation et la mesure du rendement. | |
• Utiliser les connaissances et l’évaluation critique des théories, des méthodes et des approches de la recherche et de l’évaluation pour concevoir le plan d’évaluation. | |
• Élaborer une théorie du changement décrivant en détail le contexte, les hypothèses, les activités, les résultats, la théorie du programme et les mécanismes de changement supposés ainsi que les résultats escomptés. | |
• Comprendre les possibilités et les défis liés à l’évaluation d’un portefeuille d’octroi de subventions. | |
• Trouver un équilibre et résoudre les tensions entre les besoins d’évaluation propres à chaque projet et les attentes des intervenants en matière d’analyse de l’incidence du programme. | |
• Équilibrer l’accent mis sur la responsabilisation et l’apprentissage afin d’élaborer un cadre de suivi et d’évaluation, avec des questions de suivi et d’évaluation, des indicateurs, des sources de données, la fréquence de la collecte de données, de même que des plans d’analyse, d’utilisation et de compte rendu. | |
6.3. Transformer le cadre de suivi et d’évaluation en exigences d’établissement de rapports. | |
• Élaborer des exigences en matière de rapports, en tenant compte de l’objet, du type, de la fréquence et de l’utilisation prévue des rapports. | |
• Équilibrer les multiples rôles des exigences en matière d’établissement de rapports (y compris la conformité, la mesure du rendement, l’évaluation, la responsabilisation et l’apprentissage), tout en tenant compte de la charge administrative des bénéficiaires. | |
6.4. Mettre en œuvre le plan de suivi et d’évaluation. | |
• Élaborer et mettre en œuvre des méthodes de collecte de données supplémentaires à l’échelle du programme, selon les besoins. | |
• Recueillir, évaluer, analyser et interpréter les données au niveau des projets et des programmes. | |
• Tirer des conclusions, formuler des recommandations et élaborer des produits d’évaluation. | |
6.5. Utiliser le suivi et l’évaluation pour l’apprentissage continu, les boucles d’apprentissage et l’adaptation. | |
• Travailler en collaboration dans le cadre du programme et des projets afin de partager les résultats, d’apprendre et de s’adapter ensemble. | |
• Analyser et présenter les résultats de l’évaluation en mettant l’accent sur l’utilisation afin d’éclairer les changements de stratégie, d’octroi de subventions, de politique et de pratique. | |
7. Octroi de subventions stratégiques: mobilisation de nos connaissances pour produire des résultats | |
7.1. Créer un environnement propice à l’adoption des résultats des projets et des programmes dans les domaines de la pratique et des politiques. | |
• Utiliser la connaissance du paysage politique et du processus d’élaboration des politiques pour reconnaître les principaux décideurs et établir des relations avec eux. | |
• Établir des liens ou servir de médiateur entre les projets et les décideurs concernant les politiques et les pratiques. | |
7.2. Préparer et positionner les résultats des projets et des programmes de manière à ce qu’ils aient une incidence. | |
• Résumer de manière éclairée les résultats des projets financés avec ceux d’autres recherches pertinentes, sans simplifier ou surestimer les conclusions. | |
• Utiliser la connaissance du contexte social, économique et politique pour définir l’importance et la contribution éventuelle des résultats aux questions politiques et/ou pratiques urgentes. | |
• Adapter le contenu, la conception et le langage des produits de connaissance pour soutenir l’utilisation des connaissances, en reconnaissant les différentes perspectives, pressions et motivations des publics gouvernementaux, politiques, professionnels et communautaires. | |
• Utiliser les données et la compréhension de l’environnement politique, des principaux intervenants, des possibilités et des défis pertinents, afin de transformer les résultats en recommandations ou en options viables à prendre en considération. | |
• Surveiller les environnements politiques et pratiques afin de cerner les possibilités d’influence. | |
• Évaluer l’incidence des activités de connaissances pour éclairer les produits et processus à venir. |
Au cours des premières étapes de la mise en œuvre du programme de la SI de l’ASPC en 2009, l’équipe du programme a proposé des approches très contextualisées pour le renforcement des capacités afin d’établir un lien entre le contexte des titulaires et les objectifs de la stratégie. Un renforcement des capacités réussi est de nature continue et exige des bailleurs de fonds stratégiques qu’ils cernent les besoins en capacités, déterminent la nature et le niveau (projet ou programme) de la réponse, évaluent l’état de préparation des titulaires, identifient des experts externes, au besoin, et travaillent avec ceux-ci, et mettent en œuvre et évaluent les efforts (Grantmakers for Effective Organizations, 2016). Chaque projet de la SI de l’ASPC financé était unique et nécessitait un soutien adapté et l’établissement de relations, de manière à établir une confiance mutuelle et à accroître les capacités. La confiance constitue le fondement de discussions franches sur les capacités et permet de considérer le bailleur de fonds comme une source fiable de connaissances (Grantmakers for Effective Organizations, 2016). Afin d’atteindre ces objectifs, les membres de l’équipe du programme de la SI de l’ASPC ont exécuté les composantes du programme—le renforcement des capacités et le développement et l’échange des connaissances avec les projets financés. La confiance et le partenariat pour le développement des connaissances étaient essentiels au sein de la SI de l’ASPC pour l’octroi de subventions stratégiques, et les titulaires étaient abordés comme des partenaires et des alliés bien informés, plutôt que comme des entrepreneurs passifs (Patrizi et al., 2013). Ces partenariats, qui reposent sur un engagement commun, contrebalancent l’accent mis sur la stratégie avec la réalité et les possibilités sur le terrain (Patrizi et al., 2013). (Les compétences fondamentales liées au renforcement des capacités sont énumérées dans le tableau 1, sous la section 1, Caractéristiques personnelles, et la section 5, Élaboration et mise en œuvre de la stratégie).
Recherche et évaluation interventionnelles
Bien que les domaines de la recherche et de l’évaluation interventionnelles emploient des méthodes similaires pour explorer les processus, les résultats et les répercussions des interventions, elles ont des distinctions significatives, telles que la source de financement, la portée de la recherche et l’utilisation prévue des résultats (Hawe & Potvin, 2009). Au cours de l’expérience de la SI de l’ASPC, les bailleurs de fonds avaient besoin d’une expertise à la fois dans la recherche interventionnelle se déroulant au niveau du projet et dans les activités d’évaluation au niveau du programme et de l’organisme.
Pour évaluer de façon critique et soutenir les projets de RISP, les bailleurs de fonds doivent disposer de capacités adéquates dans des domaines de compétences spécifiques de RISP, dont des connaissances fondamentales en matière de recherche interventionnelle, la gestion, la conception et la mise en œuvre de projets de recherche interventionnelle, l’échange de connaissances et la recherche réflexive (Riley et al., 2015). Les bailleurs de fonds stratégiques ont également besoin de connaissances et de compétences pour entreprendre un large éventail d’activités d’évaluation, y compris des évaluations au niveau des projets individuels, des programmes et des portefeuilles, ainsi que des mesures du rendement au niveau des programmes ou des organismes (Coffman et al., 2013). Il faut trouver un équilibre entre l’évaluation pour la responsabilisation et l’évaluation pour l’apprentissage. Cette dernière est essentielle pour les bailleurs de fonds stratégiques, mais elle se situe souvent en dehors des compétences d’évaluation conventionnelles (Coffman et al., 2013).
Selon l’expérience de la SI de l’ASPC, les projets devaient mener une recherche interventionnelle ainsi que des échanges de connaissances en vue d’un changement de pratiques et de politiques. Le suivi et l’évaluation des efforts visant à influencer la politique ont contribué à la planification et à l’étalonnage continus des travaux du projet. Afin d’apprendre et de renforcer les capacités d’évaluation de l’influence des politiques, l’équipe de la SI de l’ASPC a travaillé avec un entrepreneur afin de mettre au point le Guide pour évaluer l’influence sur les politiques (Cathexis, 2015) qui comprenait plusieurs études de cas concernant des projets financés. Ce processus d’élaboration d’outils d’apprentissage et d’évaluation des politiques a aidé les membres de l’équipe de la SI de l’ASPC à mettre au point et à appliquer un éventail plus large de compétences de synthèse, d’évaluation et de mobilisation des connaissances.
Pour que l’évaluation soit efficace, il faut également que les bailleurs de fonds puissent relever de nombreux défis potentiels, notamment garantir la bonne adéquation entre l’intervention et la conception de l’évaluation, les questions d’attribution/de contribution, la capacité d’évaluation, la collecte des données pertinentes pour éclairer l’apprentissage, l’équilibre entre les diverses données au niveau du projet et la nécessité de fournir une description à l’échelle du programme, et la satisfaction des besoins d’évaluation des différents intervenants (Coffman et al., 2013). Les projets de la SI de l’ASPC ont mis l’accent sur des questions complexes, et les projets ont été mis en œuvre dans des contextes très différents; il est donc difficile de comparer les projets entre eux. Le personnel du programme a mis au point une vaste gamme de processus et d’outils d’évaluation adaptables au niveau du programme afin de saisir les apprentissages à cet égard, sans diluer les résultats des projets individuels. La capacité à gérer simultanément les besoins des projets et des portefeuilles afin de créer un large éventail de processus d’évaluation au niveau du programme constituait une compétence clé pour ce qui est de soutenir l’octroi de subventions stratégiques. (Pour obtenir plus de détails sur les compétences de base liées à la recherche interventionnelle et à l’évaluation d’un programme de financement axé sur la RISP, voir le tableau 1, section 6, Évaluation et mesure du rendement.)
Administration publique
La majorité de la recherche sur l’octroi de subventions stratégiques provient de fondations philanthropiques; toutefois, l’octroi de subventions stratégiques au sein du gouvernement présente des défis et des possibilités uniques. Un paysage bureaucratique en évolution fournit une toile de fond supplémentaire relativement à ces travaux; l’accent est mis sur le renouvellement de la fonction publique et un appel à une plus grande responsabilité (Barber et al., 2011; Charette, 2015; Government of Canada, 2016; Jarvis, 2016). Par conséquent, il est possible d’introduire des modèles de financement, tels que la SI de l’ASPC, qui adoptent une approche axée sur la santé des populations et mobilisent des partenaires dans divers secteurs, ainsi que des actions touchant des individus et des systèmes.
Les bailleurs de fonds stratégiques ciblent souvent l’influence et l’impact sur des publics externes, y compris des administrations et des secteurs différents. En outre, en tant que partenaire interne, l’octroi de subventions stratégiques au sein du gouvernement offre également une occasion unique de faire évoluer les politiques et les pratiques. Les données probantes obtenues grâce à l’octroi de subventions stratégiques correspondent bien au renouvellement du secteur public et aux caractéristiques d’une fonction publique performante, dont l’innovation, la responsabilisation, la collaboration et l’analyse fondée sur des données probantes (Jarvis, 2016).
La SI de l’ASPC visait particulièrement à favoriser la mobilisation des connaissances entre les projets financés, au sein de l’ASPC et avec les intervenants externes, de manière à éclairer les politiques et les pratiques. Les bailleurs de fonds de la SI de l’ASPC a, sur une période de 11 ans, conçu une grande variété d’ateliers de mobilisation des connaissances sur les résultats des projets et des programmes auprès de différents publics. La SI de l’ASPC a également fait la promotion des aspects propres au modèle de financement, y compris la durée du financement nécessaire pour appuyer les changements au niveau des systèmes ainsi que les changements individuels; l’accent mis sur la production de données probantes et le développement d’outils; l’évaluation et la mesure du rendement; ainsi que la mise à l’échelle des interventions prometteuses. Le partage des exemples d’impact et des données probantes provenant de ce modèle a encouragé d’autres programmes de financement au sein du Centre pour la promotion de la santé de l’ASPC à adopter des éléments similaires (Office of Audit and Evaluation, Health Canada and the Public Health Agency of Canada, 2019). La mobilisation des connaissances pour orienter les politiques et l’innovation est un domaine de compétence clé pour le personnel responsable des subventions stratégiques dans la fonction publique. (Les compétences fondamentales pour la mobilisation des connaissances sont décrites dans le tableau 1, section 7 – Mobiliser nos connaissances pour produire des résultats.)
Résultats
Les renseignements contenus dans la présente section ont été résumés et adaptés de documents de la SI de l’ASPC, d’entretiens et de la documentation suivante : Baba, 2013; Canada’s Public Policy Forum, 2014; Canadian Evaluation Society, 2010; Cardona, 2015; Council on Linkages Between Academia and Public Health Practice, 2014; Easterling & Metz, 2016; Emery & Crump, 2006; Government Accountability Office, 2013; Harris & Lusk, 2010; Hunt, 2015; MetisNet, 2008; Metz & Easterling, 2016; PHAC, 2008; Riley et al., 2015; Sherman, 2011; Straus et al., 2011.
Le tableau 1 présente une liste détaillée des compétences fondamentales, organisées par domaine. Les compétences fondamentales proposées comprennent les compétences, les attitudes et les connaissances du personnel du programme en matière de gestion et de mise en œuvre d’un programme de financement stratégique, dont : 1. Qualités personnelles; 2. Esprit critique et réflexion stratégique; 3. Sécurité culturelle; 4. Culture et capacité d’équipe; 5. Élaboration et mise en œuvre de la stratégie; 6. Évaluation et mesure du rendement; 7. Mobilisation de nos connaissances pour produire des résultats.
La nature de l’octroi de subventions stratégiques pour financer la recherche interventionnelle exige une profondeur et une diversité considérables dans les compétences fondamentales. Pour que cette liste soit plus facile à gérer, elle met principalement l’accent sur les compétences plus précises ou nuancées requises pour ces travaux, et ne comprend qu’une mention superficielle des compétences plus fondamentales dans des domaines établis. Par exemple, un bon jugement et un engagement envers le respect de l’éthique sont des attentes normales pour les employés de la fonction publique. En outre, les compétences fondamentales (p. ex. la compréhension des modèles de développement et d’échange des connaissances, la connaissance du fédéralisme et du contexte d’élaboration des politiques) devraient être considérées comme des conditions préalables aux compétences plus sophistiquées. Les domaines moins établis, en particulier le rôle des bailleurs de fonds stratégiques dans la mobilisation des connaissances pour produire des résultats, sont exposés.
Dans l’ensemble, ces compétences fondamentales ont façonné la mise en œuvre d’un programme stratégique de subventions, parallèlement à la mobilisation de données probantes quant à l’impact au niveau des individus, des projets et des systèmes. Elles ont été élaborées précisément pour comprendre les compétences et l’expertise essentielles à la mise en œuvre de la SI de l’ASPC; toutefois, l’importance de ces attributs est partagée avec d’autres organismes de financement, chercheurs et praticiens qui s’efforcent pour développer et partager les connaissances sur ce qui fonctionne dans le but d’améliorer la santé publique.
Implications
Pour faire progresser et intégrer de nombreux domaines simultanément dans le cadre de l’octroi de subventions stratégiques, il faut une base de curiosité, de mobilisation et de dynamisme pour mettre en place un modèle de financement stratégique incarnant l’innovation, la découverte et l’engagement à apprendre et à s’améliorer. Les conclusions de cet article sont d’une grande pertinence pour différents publics :
L’octroi de subventions stratégiques exige un travail habile de l’équipe du programme à plusieurs niveaux, et comprend un processus continu d’amélioration et d’apprentissage axé sur l’obtention des résultats souhaités.
Dans le cadre de l’octroi de subventions stratégiques, plusieurs facteurs incitent à intégrer la sécurité culturelle dans les compétences fondamentales; cela comprend notamment reconnaître l’héritage colonial du Canada et renforcer les possibilités de réduire les inégalités en matière de santé avec les populations autochtones.
Il est essentiel de mettre l’accent sur l’évaluation de l’apprentissage, ce qui comprend un large éventail de compétences en matière de suivi, de facilitation, de synthèse et de résolution de problèmes de manière à explorer et à adapter une stratégie courante.
Les boucles d’apprentissage jouent un rôle important, étant donné que les bailleurs de fonds ne peuvent pas partir du principe que leur stratégie est toujours correcte; les innovations n’émergent pas complètement formées, elles réussissent par les retouches et l’expérimentation dans la pratique.
Il n’est pas simple de transformer des données probantes en changements. Les données probantes ne constituent qu’un seul facteur parmi d’autres pour la prise de décisions; de plus, il faut mettre en place un processus de mobilisation des connaissances pour transformer les données probantes en options politiques ou pratiques. Des partenariats supplémentaires avec des courtiers de connaissances permettent d’accroître la portée et l’impact de la mesure.
Conclusion
La nature de la SI de l’ASPC en tant qu’initiative stratégique d’octroi de subventions du gouvernement axée sur la recherche interventionnelle et la promotion durable et à long terme de la santé des populations par le changement des systèmes constitue une étude de cas aux fins d’exploration des compétences fondamentales. La compréhension de ces compétences peut aider les bailleurs de fonds philanthropiques et gouvernementaux à apprécier les compétences requises afin d’appuyer l’octroi de subventions stratégiques et la mobilisation des connaissances sur les projets et les programmes. Bien que ces compétences soient considérées ici sous l’angle de l’octroi de subventions, il est proposé qu’elles sont également pertinentes pour la gestion et la direction réussies des programmes de promotion de la santé publique.
Acknowledgments
Acknowledgements
The authors would like to thank the interviewees for their time to bring the core competencies to life with examples of strategic grantmaking in action. We also want to acknowledge the funded projects for their completion of annual reporting to inform the PHAC-IS and for their impact with individuals, families and communities. Thank you to the Innovation Strategy team for their review and insights with regard to this paper. Special thanks to Marie Chia who envisioned an article summarizing core competencies derived from the PHAC-IS experience.
Remerciements
Les auteurs aimeraient remercier les personnes interrogées pour leur temps consacré à donner vie aux compétences essentielles avec des exemples de subventions stratégiques en action. Nous tenons également à remercier les projets financés pour avoir complété les rapports annuels qui ont informé la SI de l’ASPC et pour leur incidence auprès des individus, des familles et des communautés. Merci à l’équipe de la Stratégie d’innovation pour son examen et ses points de vue concernant le présent document. Un merci spécial à Marie Chia qui a imaginé un article résumant les compétences essentielles découlant de l’expérience de la SI de l’ASPC.
Code availability
N/A.
Author contributions
All authors contributed to the study conception and design. Material preparation, data collection and analysis were performed by Charlene Cook and Shannon Bradley Dexter. The first draft of the manuscript was written by Charlene Cook and all authors commented on previous versions of the manuscript. All authors read and approved the final manuscript.
Funding
The Special Issue on the Public Health Agency of Canada-Innovation Strategy was funded by the Public Health Agency of Canada.
Data availability
All data, reports and materials were made available from the PHAC-IS funding program and project-level completed reports.
Declarations
Ethics approval and consent to participate
N/A.
Consent for publication
Publication of this article has been confirmed by the Director of the Division of Mental Health and Wellbeing at PHAC.
Conflict of interest
The first author is a paid consultant contracted to complete this work, and the second author is a Government of Canada employee.
Footnotes
Renamed the Mental Health Promotion Innovation Fund and launched in 2019. https://www.canada.ca/en/public-health/services/funding-opportunities/mental-health-promotion-innovation-fund.html.
A grant is defined as a transfer payment subject to pre-established eligibility and other entitlement criteria. A grant is neither subject to being accounted for by a recipient nor normally subject to audit by the department. The recipient may be required to report on results achieved (Government of Canada, 2016).
A contribution is defined as a transfer payment subject to performance conditions specified in a funding agreement. A contribution is to be accounted for and is subject to audit (Government of Canada, 2016). Note: In this article, the term grant includes both grants and contributions.
The word projects refers to the intervention research initiatives undertaken by individual grantees and all grantees together.
The word program describes work at the PHAC-IS level and organization level refers to the broader PHAC environment.
Population health intervention research “involves the use of scientific methods to produce knowledge about policy and program interventions that operate within or outside of the health sector and have the potential to impact health at the population level.” (Canadian Institutes of Health Research, 2012).
Rebaptisé Fonds d’innovation pour la promotion de la santé mentale et lancé en 2019. https://www.canada.ca/fr/sante-publique/services/occasions-financement/fonds-innovation-promotion-sante-mentale.html.
Une subvention s’entend d’un paiement de transfert effectué en fonction des critères d’admissibilité établis au préalable. Une subvention n’est ni assujettie à une reddition des comptes par le bénéficiaire, ni normalement sujette à vérification par le ministère. Le bénéficiaire peut être tenu de faire rapport sur les résultats obtenus (Government of Canada, 2016).
Une contribution est définie comme un paiement de transfert effectué sous réserve de conditions de rendement précisées dans une entente de financement. Une contribution est assujettie à une reddition de comptes et est sujette à vérification (Government of Canada, 2016). Remarque : Dans le présent article, le terme subvention comprend à la fois les subventions et les contributions.
On entend par projets les initiatives de recherche interventionnelle entreprises par les titulaires de subvention individuels et par tous les titulaires ensemble.
Le terme programme décrit le travail au niveau de la SI de l’ASPC, tandis que l’expression niveau organisationnel fait référence à l’environnement plus large de l’ASPC.
La RISP « comporte l’utilisation de méthodes scientifiques pour produire des connaissances sur les interventions, sous forme de politiques et de programmes, qui existent dans le secteur de la santé ou à l’extérieur de celui-ci et qui pourraient avoir une incidence sur la santé au niveau des populations ». (Canadian Institutes of Health Research, 2012.)
The content outlined in this article has been peer reviewed and does not necessarily represent opinion of the Public Health Agency of Canada./Le contenu de cet article fut évalué par les pairs et ne représente pas nécessairement les opinions de l’Agence de la santé publique du Canada.
Publisher’s note
Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.
References/Références bibliographiques
- Baba, L. (2013). Cultural safety in First Nations, Inuit and Métis public health: environmental scan of cultural competency and safety in education, training and health services. Prince George, BC: National Collaborating Centre for Aboriginal Health. http://epub.sub.uni-hamburg.de/epub/volltexte/2014/32127/pdf/CIPHER_report_EN_web_updated2.pdf. Accessed September 2016.
- Barber, M., Kihn, P., & Moffat, A. (2011). Deliverology: from idea to implementation. New York, NY: McKinsey & Company. http://www.mckinsey.com/industries/public-sector/our-insights/deliverology-from-idea-to-implementation. Accessed December 2020.
- Bradley Dexter, S., Kavanagh Salmond, K., Payne, L., Chia, M. C., Di Ruggiero, E., & Mahato, S. (2021). The art and science of a strategic grantmaker: the experience of the Public Health Agency of Canada’s Innovation Strategy. Canadian Journal of Public Health, 112(Supplement 2). 10.17269/s41997-021-00512-9. [DOI] [PMC free article] [PubMed]
- Brascoupé, S., & Waters, C. (2009). Cultural safety: exploring the applicability of the concept of cultural safety to Aboriginal health and community wellness. Int J Indig Health, 5(2), 6. http://www.naho.ca/jah/english/jah05_02/V5_I2_Cultural_01.pdf. Accessed November 2016.
- Canada’s Public Policy Forum. (2014). Flat, flexible and forward thinking: public service next. Ottawa (ON): Canada’s Public Policy Forum. http://www.ppforum.ca/sites/default/files/Flat%20Forward%20Flexible%20Final%20Report.pdf. Accessed October 2016.
- Canadian Evaluation Society. (2010). Competencies for Canadian evaluation practice. CES: Renfrew (ON). https://evaluationcanada.ca/txt/2_competencies_cdn_evaluation_practice.pdf. Accessed October 2016.
- Canadian Institutes of Health Research. (2012). Population health intervention research initiative for Canada. Ottawa, ON: CIHR. http://www.cihr-irsc.gc.ca/e/38731.html. Accessed September 2016.
- Cardona, C. (2015). Balancing content and process expertise in the practice of foundation consulting. The Foundation Review, 7(1). 10.9707/1944-5660.1237. Accessed October 2016.
- Cathexis Consulting for PHAC. (2015). A guide to policy-influence evaluation: selected resources and case studies. Ottawa, ON: PHAC. https://www.nccmt.ca/uploads/media/media/0001/01/c3374b8be4b35e1340385f1b593d3bb9f50f6a38.pdf. Accessed November 2016.
- Charette, J. (2015). Preparing Canada’s Public Service to Meet the Challenge. Policy Options Magazine. Montreal, QC: Institut de recherche en politiques publiques. (IRPP). https://policyoptions.irpp.org/fr/magazines/echec-a-la-pollution/charette/. Accessed October 2016.
- Coffman, J., Beer, T., Patrizi, P., & Heid Thompson, E. (2013). Benchmarking evaluation in foundations: do we know what we are doing? The Foundation Review, 5(2). 10.9707/1944-5660.1155. Accessed November 2016.
- Council on Linkages Between Academia and Public Health Practice. (2014). Core competencies for public health professionals. Washington, DC: Council on Linkages Between Academia and Public Health Practice. http://www.phf.org/resourcestools/Documents/Core_Competencies_for_Public_Health_Professionals_2014June.pdf. Accessed November 2016.
- Easterling, D., & Metz, A. (2016). Getting real with strategy: insights from implementation science. The Foundation Review, 8(2). 10.9707/1944-5660.1301. Accessed January 2017.
- Emery, J., & Crump, C. (2006). Public health solutions through changes in policies, systems and the built environment: specialized competencies for the public health workforce. Washington, DC: Directors of Health Promotion and Education. https://c.ymcdn.com/sites/dhpe.site-ym.com/resource/resmgr/docs/hpec_comps_phase_final.pdf. Accessed October 2016.
- Government Accountability Office. (2013). Training the federal grant workforce. Washington, DC: Government Accountability Office. http://www.gao.gov/products/GAO-13-591. Accessed October 2016.
- Government of Canada. (2016). Blueprint 2020. Ottawa, ON: Government of Canada. http://www.clerk.gc.ca/eng/feature.asp?pageId=354. Accessed January 2017.
- Grantmakers for Effective Organizations. (2016). Strengthening nonprofit capacity: core concepts in capacity building. Washington, DC: Grantmakers for Effective Organizations. http://www.geofunders.org/resource-library/all/record/a066000000P9eOpAAJ. Accessed January 2017.
- Grants Managers Network. (2016). Successful structures: Rethinking the role of grants management. Washington, DC: Grants Managers Network http://www.gmnetwork.org/wp-content/uploads/2016/09/GMNSuccessfulStructuresFINAL13Sept2016.pdf. Accessed January 2017.
- Harris, M., & Lusk, E. (2010). Knowledge brokering in the Canadian mental health and dementia health care system: Canadian knowledge brokering core competency framework. Halifax, NS: Canadian Dementia Knowledge Translation Network. http://www.knowledgemobilization.net/wp-content/uploads/2014/09/KB-Core-Competency-Framework_July2010.pdf. Accessed October 2016.
- Hawe P, Potvin L. What is population health intervention research? Can J Public Health. 2009;100(1):I8–I14. doi: 10.1007/BF03405503. [DOI] [PMC free article] [PubMed] [Google Scholar]
- Hunt, S. (2015). Review of core competencies for public health: an Aboriginal public health perspective. Prince George, BC: National Collaborating Centre for Aboriginal Health. http://www.nccah-ccnsa.ca/Publications/Lists/Publications/Attachments/145/2015-06-04-RPT-CoreCompentenciesHealth-Hunt-EN-Web.pdf. Accessed October 2016.
- Jarvis, M. (2016). Creating a high-performing Canadian civil service against a backdrop of disruptive change. Mowat Research #122. Toronto, ON: Mowat Centre. https://mowatcentre.ca/wp-content/uploads/publications/122_creating_a_high-performing_canadian_civil_service.pdf/. Accessed January 2017.
- MetisNet. (2008). Designing program officer competencies for strategic grantmaking. http://www.metisnet.net/papers/ProgramOfficerCompetencies.pdf. Accessed November 2016.
- Metz, A., & Easterling, D. (2016). Using implementation science to translate foundation strategy. The Foundation Review, 8(2). 10.9707/1944-5660.1302. Accessed January 2017.
- Office of Evaluation, Health Canada and the Public Health Agency of Canada. (2015). Evaluation of the Innovation Strategy 2009-2010 to 2013-2014. Ottawa, ON: Government of Canada. http://www.phac-aspc.gc.ca/about_apropos/evaluation/reports-rapports/2014-2015/eis-sie/index-eng.php. Accessed October 2016.
- Office of Evaluation, Health Canada and the Public Health Agency of Canada. (2019). Evaluation of the Innovation Strategy 2014-2015 to 2018-2019. Ottawa, ON: Government of Canada. Accessed January 2020.
- Patrizi, P., Heid Thompson, E., Coffman, J., & Beer, T. (2013). Eyes wide open: learning as strategy under conditions of complexity and uncertainty. The Foundation Review, 5(3), 50–65. 10.9707/1944-5660.1170. Accessed September 2016.
- Public Health Agency of Canada. (2008). Core competencies for public health in Canada: Release 1.0. Ottawa, ON: PHAC. http://www.phac-aspc.gc.ca/php-psp/ccph-cesp/pdfs/cc-manual-eng090407.pdf. Accessed September 2016.
- Riley, B., Harvey, J., Di Ruggiero, E., & Potvin, L. (2015). Building the field of population health intervention research: the development and use of an initial set of competencies. Prev Med Rep, 2. 10.1016/j.pmedr.2015.09.017. Accessed October 2016. [DOI] [PMC free article] [PubMed]
- Sherman, S. (2011). Teaching the key skills of successful social entrepreneurs. Stanford, CA: Stanford Social Innovation Review. https://ssir.org/articles/entry/teaching_the_key_skills_of_successful_social_entrepreneurs. Accessed October 2016.
- Snow, E., Lynn, J., & Beer, T. (2015). Strategy design amid complexity: tools for designing and implementing adaptive funding strategies. The Foundation Review, 7(2). 10.9707/1944-5660.1246. Accessed October 2016.
- Straus, S., Brouwers, M., Johnson, D., Lavis, J., Légaré, F., Majumdar, S., McKibbon, K. A., Sales, A. E., Stacey, D., Klein, G., Grimshaw, J., & KT Canada Strategic Training Initiative in Health Research (STIHR). (2011). Core competencies in the science and practice of knowledge translation: description of a Canadian strategic training initiative. Implement Sci, 6(127). 10.1186/1748-5908-6-127. Accessed October 2016. [DOI] [PMC free article] [PubMed]
- Treasury Board of Canada Secretariat. (2006). From red tape to clear results: the report of the Independent Blue Ribbon Panel on grant and contribution programs. Ottawa: Government of Canada. http://publications.gc.ca/site/eng/9.689440/publication.html.
Associated Data
This section collects any data citations, data availability statements, or supplementary materials included in this article.
Data Availability Statement
All data, reports and materials were made available from the PHAC-IS funding program and project-level completed reports.