Determining RE-AIM indicators for evaluating the Estratégia Amamenta e Alimenta Brasil (EAAB – Brazilian Breastfeeding and Complementary Feeding Strategy)

Daiane Sousa Melo; Sonia Isoyama Venancio; Gabriela Buccini

doi:10.11606/s1518-8787.2024058005875

. 2024 Sep 16;58:43. doi: 10.11606/s1518-8787.2024058005875

View full-text in Portuguese

Determining RE-AIM indicators for evaluating the Estratégia Amamenta e Alimenta Brasil (EAAB – Brazilian Breastfeeding and Complementary Feeding Strategy)

Daiane Sousa Melo ^I, Sonia Isoyama Venancio ^II, Gabriela Buccini ^III

PMCID: PMC11548908 PMID: 39319935

ABSTRACT

OBJECTIVE

To confirm the diagram of the program’s impact pathways and Estratégia Amamenta e Alimenta Brasil (EAAB - Brazilian Breastfeeding and Complementary Feeding Strategy) core functions, and to determine indicators for evaluating EAAB.

METHODS

This is a qualitative study within the field of implementation research. Data collection included two focus groups with EAAB implementers, document analysis, and literature review. The analysis included a review of the participants’ suggestions and two stages of reviewing the diagram and the names of the impact pathways and core functions. Questions for evaluating the EAAB were then constructed based on the confirmed diagram. The indicators of the RE-AIM framework (reach, effectiveness, adoption, implementation, maintenance) were adapted to the EAAB context. The evaluation questions were revised according to the RE-AIM domains and, finally, indicators were determined for each evaluation question.

RESULTS

This study advanced the analysis of EAAB implementation, defining 22 indicators for its monitoring and evaluation. Most of the indicators are already used in implementation, however, the analysis with the RE-AIM framework allowed the indicators to be updated to be more specific, measurable, and relevant to the desired objectives.

CONCLUSION

The results of the study support the pragmatic application of RE-AIM evaluation in health programs and encourage the planning of evaluation indicators for other child health and development programs in primary care.

Keywords: Breast Feeding, Infant Nutritional Physiological Phenomena, Primary Health Care, Implementation Science

INTRODUCTION

In Brazil, primary care is the population’s gateway to the Unified Health System (SUS), which offers universal access to a network of care to protect, promote, and support health¹. A large number of families are served in primary care: in 2020, 54,105 health teams worked in more than 44,000 basic health units (UBS) and served 76.1% of Brazil’s population, equivalent to more than 159.9 million people^2,3. Adequate and healthy infant feeding is one of the health guidelines promoted in primary care. Data from the Estudo Nacional de Alimentação e Nutrição Infantil (Enani-2019 - Brazilian National Survey on Child Nutrition) showed that 45.8% of Brazilian children under six months were exclusively breastfed and 86.3% between six and eight months were being introduced to food^4,5. The prevalence of overweight in children under five was 7.0%, while 18.3% of children were at risk of overweight⁶. Raising breastfeeding rates and improving the quality of food introduction in the first years of life is key to combating overweight and promoting children’s development to its full potential. To achieve these outcomes, the Brazilian Ministry of Health has been implementing the Estratégia Amamenta e Alimenta Brasil (EAAB - Brazilian Breastfeeding and Complementary Feeding Strategy) in primary care since 2013⁷.

The EAAB aims to qualify actions to promote and support breastfeeding and complementary feeding practices in the UBS. EAAB is implemented with multi-level governance by managers in the Ministry of Health and coordinators in all states and municipalities in Brazil^7,8. Based on the cascade of continuing education for primary care professionals, the EAAB trains tutors to lead workshops with health teams in the UBS. The teams develop an action plan to help families with children under two. As a result, EAAB supports the training of professionals in the UBS and promotes better monitoring of food consumption markers for children under two^9,10.

By 2018, more than 5,500 tutors had been trained, and more than 3,100 workshops had been held at the UBS¹¹. Considering that there were more than 50,000 health teams in the country³, these results showed that the expansion of the EAAB was less than expected. The Ministry of Health therefore began a project to strengthen implementation with strategies on a national scale in four areas: support for coordinators; expansion of tutor training; monitoring of implementation in the municipalities; and research and evaluation¹². As part of the research and evaluation axis, an analysis of the pathways to achieve the impact of the EAAB was conducted. Researchers interactively developed a diagram of the program’s impact pathway theory and analyzed barriers and facilitators to implementation. The results documented six critical control points of EAAB implementation, assumptions, facilitators, and contextual factors, described in another publication⁸. The analysis of these elements pointed to seven implementation core functions, i.e. planned activities that need to be followed to ensure successful implementation on a large scale⁸.

Experts recommend that after conducting the analysis of the program’s impact pathways diagram, it is important to consider implementing a robust impact evaluation system that allows for an objective understanding of whether the program is achieving its stated goals and whether it is following the pathways described in the diagram¹³. The choice of indicators should be informed by the analysis of the program’s impact pathways and can use conceptual frameworks that support the operationalization of the indicators¹³. The RE-AIM evaluation framework (reach, effectiveness, adoption, implementation, maintenance), for example, has a long history of use for planning and evaluating health programs¹⁴. In summary, the “reach” domain assesses how far the program reaches the beneficiary population; the “effectiveness” domain analyzes the benefits produced for the beneficiary population; the “adoption” domain verifies where and who adopts the program, with a greater focus on implementers, communities, organizations, and systems; the “implementation” domain assesses the consistency of implementation, costs, and adaptations in the delivery of actions; finally, the “maintenance” domain analyzes the sustainability of results over time, both for the beneficiary population and at the organizational level^14,15. In this type of analysis, it is important to look at the indicators already in use by the programs, which can be consulted by reviewing the literature and discussing them with program workers and decision-makers. It is also useful to suggest new indicators that are needed, using evaluation models and frameworks to facilitate the systematized identification of indicators of implementation, effectiveness, and sustainability¹⁶.

Investment in EAAB implementation research in recent years has helped to clarify the pathways and activities central to its successful implementation. In order to advance the analysis of EAAB implementation, this study aimed to 1) confirm the diagram of program impact pathways and EAAB core functions, and 2) define monitoring and evaluation indicators to compose a robust EAAB evaluation scheme based on the RE-AIM framework.

METHODS

The description of the methodological steps was guided by the Standards for Reporting Implementation Studies (StaRI)¹⁷ and consolidated criteria for reporting qualitative research (COREQ)¹⁸.

Study Design

This is a qualitative observational study within the field of implementation research. Data collection included two focus groups with EAAB implementers, document analysis, and literature review. Figure 1 describes the stages of data collection and analysis in the two phases of the study: 1) confirming the impact pathways and core functions of the EAAB, and 2) determining indicators for evaluating the EAAB. This study was approved by the Research Ethics Committee of the School of Public Health at the University of São Paulo (USP), under protocol number 15184019.2.0000.5421. All participants signed an Informed Consent Form to register their intention to participate.

EAAB: Estratégia Amamenta e Alimenta Brasil (EAAB - Brazilian Breastfeeding and Complementary Feeding Strategy); RE-AIM: Reach, Effectiveness, Adoption, Implementation, Maintenance.

Confirmation of EAAB Impact Paths and Core Functions

Selection of Participants

Key informants implementing the EAAB in the Ministry of Health, states, and municipalities in the country’s five macro-regions (North, Northeast, Midwest, Southeast, and South) were selected. A non-probabilistic purposive sample was selected. In order to capture the perspectives of different implementers, key informants who had already taken part in the study analyzing the program’s impact pathways were excluded⁸. The inclusion criteria and selected participants are described in Chart 1. States and municipalities with advanced stages of implementation were selected because they had more experience in implementing workshops and certifying UBS. The people selected were invited by e-mail to take part in the study. Only one municipality in the Northeast region was unavailable at the time, so key informants from the second municipality with the most advanced stage of EAAB in that region were invited.

Chart 1. Inclusion criteria and focus group participants.

Place of work	Inclusion criteria	Participants
Federal	Up to two professionals responsible for coordinating the EAAB in the Ministry of Health, who have been working on the EAAB for at least six months.	Total federal coordinators (n = 2) General Coordination of Food and Nutrition (n = 1) General Coordination of Perinatal Health and Breastfeeding (n = 1)
States	One state per macro-region with the highest proportion of municipalities that held EAAB workshops between 2013 and 2022. Up to two professionals per state, who have worked for at least six months as EAAB coordinators.	Total state coordinators (n = 7) North, Roraima (n = 1) Northeast, Ceará (n = 1) Midwest, Mato Grosso do Sul (n = 2) Southeast, Espírito Santo (n = 1) Sul, Rio Grande do Sul (n = 2)
Municipalities	One municipality per macro-region, with the highest number of certified basic health units. A professional who has worked for at least six months as the EAAB coordinator in the municipality.	Total municipal coordinators (n = 4) North, Manaus (n = 1) Midwest, Brasília (n = 1) Southeast, Ribeirão Preto (n = 1) South, Gravataí (n = 1)
Municipalities	A professional EAAB tutor appointed by the municipal coordinator, with at least six months’ experience and who has held a workshop in a basic health unit.	Total of tutors (n = 2) Midwest, Brasília (n = 1) Southeast, Ribeirão Preto (n = 1)

Open in a new tab

EAAB: Estratégia Amamenta e Alimenta Brasil (EAAB - Brazilian Breastfeeding and Complementary Feeding Strategy); UBS: basic health unit.

Relations with Participants

Two authors, D.S.M. and S.I.V., were part of the national project to strengthen the EAAB and participated in remote meetings with EAAB implementers in states and municipalities across the country between 2020 and 2022¹².

Data Collection

Two online focus groups were held in November 2022, one group with coordinators from the Ministry of Health and states and another group with municipal coordinators and tutors. A total of nine people took part in the first group and six people in the second, as well as a moderator (D.S.M.), an observer (S.I.V.), and a technical supporter (C.B.S.) experienced in qualitative methodology. A discussion guide was used, drawn up by a co-author (D.S.M) and revised by three co-authors (D.S.M., S.I.V., and G.B.). The groups were conducted in two stages: 1) to confirm the pathways diagram, and 2) to confirm the core functions. To make it easier to confirm the activities described in the EAAB program impact pathway diagram identified in a previous study⁹, the decision was made to adapt the information into six diagrams: 1) pathways for EAAB coordination and funding, 2) pathways for tutor training, 3) pathways for tutor support for UBS teams, 4) pathways for EAAB monitoring, 5) pathways for certification criteria, and 6) pathways for the UBS certification process. The first four diagrams of the EAAB program’s impact pathways were presented, and diagrams 5 and 6 were not presented because they were activities that were temporarily suspended in the implementation of EAAB at the time of the research. Secondly, a chart of the core functions of the EAAB was presented: 1) the presence of coordinators at the three levels of government and interfederative and intersectoral coordination; 2) the allocation of resources for the implementation of the EAAB; 3) the planning of implementation at the three levels of government; 4) the establishment of a group of national facilitators, the training of tutors and of UBS professionals; 5) the development of activities to obtain certification; 6) the monitoring and evaluation of implementation; 7) the dissemination of the EAAB. After the presentation of each diagram and the chart of core functions, the participants confirmed whether the descriptions were adequate or needed to be modified.

Data Analysis

The notes and audio and video recordings of the two focus groups were revised by the first author to highlight the suggestions made by the key informants in the diagrams of the program’s impact pathways and EAAB’s core functions. Two co-authors (D.S.M. and S.I.V.) once again reviewed the materials to polish the texts. Then, three co-authors (D.S.M., S.I.V., and G.B.) organized the formatting of the final diagram and the names of the EAAB implementation pathways and core functions.

Determining Indicators for Monitoring and Evaluating the EAAB

Documentary Analysis

A document analysis was carried out to identify the indicators already used to monitor and evaluate the EAAB. We consulted the EAAB Implementation Manual⁷, the monitoring reports for the project to strengthen the EAAB in 2021 and 2022¹², Ordinance No. 1.124 of May 19, 2022 (which established new indicators for monitoring the EAAB)¹⁹, and the primary care monitoring forms for recording food consumption and nutritional status markers and individual and collective activities in the UBS²⁰.

Literature Review

The RE-AIM evaluation framework was chosen to support the determination of EAAB evaluation indicators because it has a long history of use for planning and evaluating health programs¹⁴. A literature review was conducted to identify definitions of the RE-AIM domains with the aim of adapting them to evaluate EAAB. Peer-reviewed articles, supplementary texts, and official checklists available on the “https://re-aim.org/assessments/” website²¹ were included.

Analysis

The confirmed EAAB impact pathways diagram (Figure 2) and the indicators used to evaluate EAAB were consulted to guide the construction of EAAB evaluation questions. The evaluation questions were drafted in an interactive discussion process considering three main structures of the diagram: the implementation process, the outcomes in the service, and the outcomes in the population. Then, in an interactive discussion process, the authors adapted the definitions of the RE-AIM implementation outcome indicators to the EAAB context. The evaluation questions were then revised and allocated to the RE-AIM domains in the following order: adoption, implementation, reach, effectiveness, and maintenance. Finally, the indicators already used in the EAAB were reorganized, some grouped, others excluded or adapted, and so indicators were defined for each evaluation question and organized into levels: organizational (states, municipalities, and UBS), professional (tutors and health teams), and individual (beneficiary target population)²².

EAAB: *Estratégia Amamenta e Alimenta Brasil* (EABB - Brazilian Breastfeeding and Complementary Feeding Strategy); MS: Ministry of Health; UBS: basic health unit; FC: core function. FC: 1) Coordination, 2) Political and legislative support, 3) Financing and resources, 4) Planning and goals, 5) Training and workshops, 6) Delivery and promotion, 7) Research, monitoring, and evaluation, 8) Social communication.

Dashed boxes: activities in the process of being revised for implementation in 2023.

RESULTS

Confirmation of EAAB Impact Pathways and Core Functions

The diagram of the EAAB program’s impact pathways after confirmation and review (Figure 2) is organized into three structures: “implementation process”, “service outcomes”, and “population outcomes”. Within these structures, the activities of “inputs”, “processes”, “outputs” (which include short-term and intermediate results), and “impacts”, which are the expected long-term results, are highlighted. The diagram then details four impact pathways: 1) pathways for coordination articulation, planning, and financing EAAB implementation; 2) pathways for training tutors and workshops; 3) pathways for complementary activities and promotion of healthy infant feeding; and 4) pathways for monitoring, evaluating, and disseminating the EAAB. Finally, the facilitators at the bottom of each pathway diagram are presented, which are activities or contexts that facilitate successful implementation.

Participants agreed on the definitions of the seven EAAB core functions. In order to make the names of the core functions more objective without compromising their content, the core functions were reorganized into eight items: 1) coordination, 2) political and legislative support, 3) financing and resources, 4) planning and goals, 5) training and workshops, 6) delivery and promotion, 7) research, monitoring and evaluation, and 8) social communication. This reorganization was based on the Breastfeeding Gear Model for programs in low- and middle-income countries²⁵. The EAAB’s core functions are structural objectives and important activities for successful implementation, so they have been incorporated into the diagrams of the four impact pathways, as shown in Figure 2.

Determining Indicators for Monitoring and Evaluating the EAAB

Eleven indicators were identified in the EAAB Implementation Manual, eleven in the EAAB strengthening project reports, and three in Ordinance No. 1.124/2022. Most of the indicators have been retained with adaptations to their description to make them more specific and measurable. Only three of them were excluded because they were specific activities in the certification criteria for actions in the UBS. A new indicator was added, which deals with assessing the stages of implementation of the EAAB. As a result, 22 indicators were determined to assess the activities that are in place in the implementation of the EAAB. Chart 2 describes: the definition of the RE-AIM indicators adapted for evaluating the EAAB, the evaluation questions, the evaluation indicators, and the data sources. In the “adoption” domain, four indicators were determined relating to the training of tutors and the presence of coordinators in the states and municipalities. In the “implementation” domain, seven indicators were determined relating to financial resources, the stage of implementation, and the consistency of implementation for the protection, promotion, and support of healthy infant feeding in the UBS. In the “reach” domain, three indicators were determined, focusing on the coverage of the target population of children under two years of age with EAAB actions. To assess the “effectiveness” domain, two indicators were determined: the percentage of records and the annual prevalence of infant feeding markers. Finally, in the “maintenance” domain, six indicators were determined to assess the institutionalization of the implementation of the EAAB in the municipalities, the continuity of the tutors’ work, and the continuous improvement of the effectiveness indicators.

Chart 2. Definitions of the RE-AIM domains for evaluating the Estratégia Amamenta e Alimenta Brasil (EAAB - Brazilian Breastfeeding and Complementary Feeding Strategy) and monitoring and evaluation indicators.

RE-AIM domains	Evaluation level	Definition for EAAB evaluation	EAAB assessment questions	Evaluation Indicators	Data source
Adoption (Where and who adopts)	Organizational (states and municipalities)	This refers to the percentage of states and municipalities with coordinators responsible for implementing and maintaining the EAAB.	What is the proportion of states and municipalities in the country with a professional acting as EAAB implementation coordinator?	Percentage of states with professionals acting as EAAB implementation coordinators in relation to the total number of states	Online form
				Percentage of municipalities with professionals working as EAAB implementation coordinators in relation to the total number of municipalities	Online form
		This refers to the percentage of municipalities that have trained tutors.	What is the proportion of municipalities in the country with trained tutors?	Percentage of municipalities with trained tutors in relation to the total number of municipalities	EAAB management system
	Professional tutors	Refers to the number of tutors responsible for implementing and maintaining the EAAB.	Does the number of EAAB tutors in the municipality meet planning expectations?	Number of tutors in the municipality in relation to the number of planned tutors	EAAB management system
Implementation (How, and how consistent is the implementation)	Organizational (municipalities and UBS)	It refers to the financial resources for implementation and the stage of implementation of the EAAB in the country.	What is the proportion of municipalities in the country that are using financial resources (public resources to fund food and nutrition actions) to implement EAAB in UBS?	Percentage of municipalities that have allocated financial resources for the implementation of EAAB actions in relation to the total number of municipalities	Online form
			What proportion of UBS in the country are at an intermediate or advanced stage of EAAB implementation?	Percentage of UBS in the country at an intermediate stage of implementation (with a workshop)	EAAB management system
				Percentage of UBS in the country at an advanced stage of implementation (with certification)	EAAB management system
	Health team professionals	It refers to the consistency of the implementation of the EAAB for the protection, promotion, and support of healthy infant feeding in the UBS.	What proportion of health teams have an EAAB action plan?	Percentage of health teams with an EAAB action plan in relation to the total number of health teams per municipality	EAAB management system
			What proportion of health teams are developing systematic collective actions to promote breastfeeding and healthy complementary feeding?	Percentage of health teams with records of collective actions for health education with the beneficiary population of children aged 0 to 3 in relation to the total number of health teams per municipality	EAAB management system
					Primary Care Information System in force
			What proportion of health teams are monitoring the food consumption and nutritional status markers of children under two?	Number of health teams with records of food consumption markers for children aged 0-23 months in relation to the total number of health teams per municipality	Primary Care Information System in force
				Number of health teams recording the nutritional status of children aged 0-23 months in relation to the total number of health teams per municipality	Primary Care Information System in force
Reach (Who and how much is reached)	Individual (beneficiary population)	This refers to the percentage of the beneficiary population that took part in individual or collective actions to promote breastfeeding and complementary feeding and the coverage of feeding markers for children under two.	What is the coverage of children under the age of two who are being followed up with individual and collective actions at the UBS?	Percentage of children under the age of two monitored at the UBS in individual care in the municipality in relation to the total population of children under the age of two in the municipality	Primary Care Information System in force
				Percentage of children under the age of two monitored at the UBS in collective care in the municipality in relation to the total population of children under the age of two in the municipality
			What is the coverage of children under the age of two who are having food consumption markers recorded at the UBS?	Percentage of children under two with food consumption markers recorded in relation to the total population of children under two in the municipality
Effectiveness (what are the benefits)	Individual (beneficiary population)	This refers to the long-term outcome (impact), the extent to which the implementation of the EAAB affects the improvement in the recording, and prevalence of breastfeeding and complementary feeding indicators for children under two years of age.	Has there been an improvement in the recording and prevalence of feeding markers for children under two in the municipalities that have implemented the EAAB?	Percentage of food consumption markers recorded for children aged 0 to 23 months in relation to the previous year by health team	Primary Care Information System in force
Effectiveness (what are the benefits)	Individual (beneficiary population)			Prevalence of food consumption markers in children aged 0 to 23 months in relation to the previous year by health team	Primary Care Information System in force
Maintenance (When and for how long there are results)	Organizational (municipalities)	This refers to the institutionalization of EAAB implementation in the municipalities.	What proportion of municipalities in the country have an EAAB implementation plan?	Percentage of municipalities with an EAAB implementation plan for the current year in relation to the total number of municipalities	Online form
			What proportion of municipalities in the country have included EAAB in their municipal health plan?	Percentage of municipalities that have included EAAB in the municipal health plan in relation to the total number of municipalities
		This refers to the continuity of implementation through the tutors’ work in the long term.	What is the proportion of municipalities with active tutors in the last year?	Percentage of municipalities with tutors who registered complementary activities at the UBS in the last six months in relation to the total number of municipalities in the country
	Professional tutors		What is the proportion of active tutors per municipality?	Percentage of tutors who registered a complementary activity at the UBS in the last six months in relation to the total number of tutors trained in the municipality
	Individual (beneficiary population)	It refers to the continuous improvement of the recording and prevalence of infant feeding markers in the long term.	Have the municipalities that have implemented the EAAB shown positive annual results in the recording and prevalence of infant feeding markers?	Percentage of municipalities that showed an improvement in the percentage of food consumption markers recorded for children aged 0 to 23 months in the last year in relation to the total number of municipalities	Primary Care Information Systems
	Individual (beneficiary population)			Percentage of municipalities that showed an improvement in the prevalence of food consumption markers for children aged 0 to 23 months in the last year in relation to the total number of municipalities	Primary Care Information Systems

Open in a new tab

Source: adapted from Melo et al.⁹, Glasgow et al.^18,19; Holtrop et al.²⁰

RE-AIM: reach, effectiveness, adoption, implementation, maintenance; UBS: basic health unit.

DISCUSSION

This study advanced the analysis of the EAAB program impact pathways, interactively confirming the the activities and core functions of implementation with implementers from different levels and locations. The results of the initial analysis and the RE-AIM evaluation framework guided the unprecedented determination of indicators of EAAB adoption, implementation, reach, effectiveness, and maintenance.

Interactive confirmation of the program’s impact pathway diagram is described in the literature as an important strategy for health program coordinators to have a common understanding of program activities from the macro to the local level^13,26,27. In line with the results described in other studies^26,27, in this study the process of interaction between researchers and implementers helped to confirm the core activities of the program and gain an understanding of the indicators for measuring the objectives.

This study contributed with adjustments to the definitions of impact pathways, core functions, and indicators, aligning them with the taxonomy recommended in implementation science²⁸. Thus, the 22 indicators proposed make it possible to monitor and evaluate implementation processes (existence of coordinators and training of tutors), outcomes in the service (operationalization of workshops and actions in the UBS), and outcomes in the population (registration and improvement of breastfeeding and complementary feeding markers). Conceptualizing and measuring implementation results, as presented in our research, is a critical step for understanding implementation processes, for increasing effectiveness in implementation research, and for opening avenues for comparative studies on implementation strategies²⁹.

This study presented a comprehensive description of the methodological step-by-step process for determining indicators for the EAAB. This is an important contribution to the literature, as there is a lack of publications detailing the methods used to determine evaluation indicators based on the analysis of the program’s impact pathways^26,27. In our study, the use of the RE-AIM evaluation framework to guide the definition of indicators ensured the robustness of the methods and results and confirmed the usefulness and applicability of this framework to guide the evaluation of large-scale programs such as the EAAB³⁰.

The RE-AIM framework is a useful tool for determining adjustments and setting goals during the process of implementing health service improvement projects³¹. However, the studies are predominantly from high-income countries and the application of the framework has been more pragmatic, i.e. not all RE-AIM domains are usually assessed³². Studies have shown that, during program planning, most implementers focus more on the “reach” and “implementation” domains and less on the “effectiveness” and “maintenance” domains^31,33, the latter being considered by members as the least important for proposing adjustments during project implementation. The present study fills these gaps by determining indicators for the five RE-AIM domains to plan the evaluation of a large-scale child nutrition promotion program in a middle-income country.

Indicators were defined to monitor and evaluate the EAAB, most of which were already being used. The analysis made it possible to update the indicators to be more specific, i.e. clearer to capture the desired changes in key outcomes, as recommended in the literature¹³. Experts recommend that the indicators informed by the analysis of the program’s impact pathways should be specific, measurable, achievable, relevant, and time-bound, noting whether they are already in use by the program or whether they are planned¹³. One example was updating the indicator “number of tutors trained” to “number of tutors in the municipality in relation to the number of tutors planned in the implementation plan”, so the indicator is more specific to adoption at the municipal level and measures the existence of a tutor training plan.

Some EAAB indicators were specific to certification criteria that were under review by the Ministry of Health. A previous study showed that UBS teams found it difficult to organize and send supporting documents for certain activities for certification, and the Ministry of Health had an overload of tasks which delayed analysis of the documents sent⁸. Therefore, it was justified to keep indicators of the certification criteria in the “implementation” domain that were measurable (quantitative and with tracking of progress over time) and achievable (realistically measurable with the data and resources available)³⁴.

Aoki et al.³⁵ used 14 indicators based on the RE-AIM framework to assess the stage of implementation of a maternal and child health promotion program in health institutions in Angola. The institutions were classified into optimal or suboptimal implementation groups, while interviews made it possible to complement the assessment and identify barriers and facilitators to implementation. In contrast, EAAB first underwent an analysis of barriers and facilitators to implementation and had its implementation strategies documented. This research generated positive results, especially in multilevel governance and tutor training^8,12. It is understood that the indicators determined in this study could be used in the future to assess stages of implementation and identify priority municipalities for monitoring both the quality and effectiveness of EAAB implementation.

A strength of the indicator framework presented in this study is that it favors the application of the RE-AIM framework in the real world, agreeing with experts in the field who encourage the expansion of the use of RE-AIM in community-based programs³¹. In Brazil, few studies have used the RE-AIM framework to evaluate large-scale health programs and policies^36,37. It is known that funding for the application of RE-AIM is often dependent on external program resources, such as national agencies, cooperation between academics, and health services and foundations³³. This study was conducted as part of doctoral research funded by a national research agency. It was therefore possible to devote time to an in-depth analysis of the program’s impact pathways and RE-AIM domains and to propose a systematic EAAB evaluation framework. This highlights the importance of cooperation between academia and decision-makers in public policy and complex health programs, in order to make the pragmatic application of RE-AIM feasible.

This study has limitations and strengths. The data collected in the focus groups is limited to the perceptions of the participants who attended the meetings, and who were only from municipalities with an advanced implementation context. The second focus group saw the absence of the municipal coordinator and tutor from the North-East region and the absence of tutors from the North and South regions. On the other hand, in the interactive process of confirming the impact pathways diagram, it was observed that most of the suggestions from the second group were similar to those from the first group, demonstrating the saturation and robustness of the results presented. Some of the indicators determined for the EAAB require the Ministry of Health to periodically send online forms to municipalities, as they are not available in official primary health care information systems. We understand that future adaptations to the data sources for these indicators may be necessary. Despite this limitation, we believe that these indicators should be maintained as part of the EAAB evaluation system, as they refer to the existence of coordinators, funding, and the implementation plan, which are critical points for control, identified in a previous study analyzing the implementation of the EAAB⁸.

CONCLUSIONS

This study advanced the analysis of EAAB implementation by determining indicators for evaluation with reference to implementation research theories and frameworks. The theory of impact pathways and the confirmed core functions act as gears to guide the implementation of EAAB on a large scale in a consistent manner and achieve successful implementation. The knowledge gained through interaction with EAAB coordinators from the country’s five macro-regions supports the generalization of the results. Indicators were defined to monitor and evaluate the EAAB which, for the most part, were already being used in the implementation. However, the analysis with the RE-AIM framework allowed the indicators to be updated to be more specific, measurable and relevant to the desired objectives. Overall, the results of the study support the pragmatic application of RE-AIM evaluation in health programs and encourage the planning of evaluation indicators for other child health and development programs in primary care.

Funding Statement

Funding: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes- opinion 88887.716877/2022-00- doctoral scholarship for DSM).

Footnotes

Funding: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes- opinion 88887.716877/2022-00- doctoral scholarship for DSM).

REFERENCES

1.Ministério da Saúde (BR Portaria nº 2.436, de 21 de setembro de 2017. Aprova a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes para a organização da Atenção Básica, no âmbito do Sistema Único de Saúde (SUS. Diário Oficial União. 2017 Sep 22;
2.Ministério da Saúde (BR) Desempenho da Atenção Primária à Saúde no Brasil é alvo de pesquisa inédita. Brasília, DF: Ministério da Saúde; 2020. [cited 2023 June 10]. https://aps.saude.gov.br/noticia/10136 [Google Scholar]
3.Ministério da Saúde (BR) E-Gestor. Cobertura da Atenção Básica. Brasília, DF: Ministério da Saúde; 2021. [cited 2023 June 10]. https://egestorab.saude.gov.br/paginas/acessoPublico/relatorios/relHistoricoCoberturaAB.xhtml [Google Scholar]
4.Universidade Federal do Rio de Janeiro . Aleitamento materno: prevalência e práticas de aleitamento materno em crianças brasileiras menores de 2 anos. Rio de Janeiro: UFRJ; 2021. [cited 2024 Abr 3]. https://enani.nutricao.ufrj.br/index.php/relatorios/ ENANI 2019. [Google Scholar]
5.Universidade Federal do Rio de Janeiro . Alimentação infantil I: prevalência de indicadores de alimentação de crianças menores de 5 anos. Rio de Janeiro: UFRJ; 2021. [cited 2024 Abr 3]. https://enani.nutricao.ufrj.br/index.php/relatorios/ ENANI 2019. [Google Scholar]
6.Universidade Federal do Rio de Janeiro . Estado nutricional antropométrico da criança e da mãe: prevalência de indicadores antropométrico de crianças brasileiras menores de 5 anos de idade e suas mães biológicas. ENANI 2019. Rio de Janeiro, RJ: UFRJ; 2022. [cited 2024 Apr 3]. https://enani.nutricao.ufrj.br/index.php/relatorios/ [Google Scholar]
7.Ministério da Saúde (BR) Secretaria de Atenção à Saúde . Estratégia nacional para promoção do aleitamento materno e alimentação complementar saudável no Sistema Único de Saúde: manual de implementação. Brasília, DF: Ministério da Saúde; 2015. [Google Scholar]
8.Melo D, Venancio S, Buccini G. brazilian strategy for breastfeeding and complementary feeding promotion: a program impact pathway analysis. Int J Environ Res Public Health. 2022 Aug;19(16):9839. doi: 10.3390/ijerph19169839. [DOI] [PMC free article] [PubMed] [Google Scholar]
9.Relvas GR, Buccini G, Potvin L, Venancio S. Effectiveness of an educational manual to promote infant feeding practices in primary health care. Food Nutr Bull. 2019 Dec;40(4):544–561. doi: 10.1177/0379572119855308. [DOI] [PubMed] [Google Scholar]
10.Bonini TP, Lino CM, Sousa ML, Mota MJ. Implantação e efeitos da Estratégia Amamenta Alimenta Brasil nas Unidades de Saúde de Piracicaba/SP. Res Soc Develop. 2021;10(14):e91101421528. doi: 10.33448/rsd-v10i14.21528. [DOI] [Google Scholar]
11.Ministério da Saúde (BR) Coordenação-Geral de Alimentação e Nutrição. Área Técnica de Saúde da Criança e Aleitamento Materno [cited 2023 Apr 23];Estratégia amamenta e alimenta Brasil: relatórios. 2023 http://sisaps.saude.gov.br/eaab/Relatorios/relatorios.php
12.Venancio SI, Relvas GR, Melo DS, Souza CB, Moreira HOM, Veras JJP, et al. Implementation strategies for a brazilian policy aimed at promoting breastfeeding and healthy complementary feeding in primary care. Glob Implement Res Appl. 2023;3(4):355–366. doi: 10.1007/s43477-023-00098-z. [DOI] [Google Scholar]
13.Pérez-Escamilla R, Segura-Pérez S, Damio G. Applying the Program Impact Pathways (PIP) evaluation framework to school-based healthy lifestyles programs: Workshop Evaluation Manual. Food Nutr Bull. 2014 Sep;35(3) Suppl:S97–107. doi: 10.1177/15648265140353S202. [DOI] [PubMed] [Google Scholar]
14.Glasgow RE, Harden SM, Gaglio B, Rabin B, Smith ML, Porter GC, et al. RE-AIM planning and evaluation framework: adapting to new science and practice with a 20-year review. 64Front Public Health. 2019 Mar;7 doi: 10.3389/fpubh.2019.00064. [DOI] [PMC free article] [PubMed] [Google Scholar]
15.Breitenstein SM, Gross D, Garvey CA, Hill C, Fogg L, Resnick B. Implementation fidelity in community-based interventions. Res Nurs Health. 2010 Apr;33(2):164–173. doi: 10.1002/nur.20373. [DOI] [PMC free article] [PubMed] [Google Scholar]
16.Grembowski D. The practice of health program evaluation. 2nd. Thousand Oaks: Sage; 2015. [Google Scholar]
17.Pinnock H, Barwick M, Carpenter CR, Eldridge S, Grandes G, Griffiths CJ, et al. Standards for Reporting Implementation Studies (StaRI) Statement. BMJ. 2017 Mar;356 doi: 10.1136/bmj.i6795. [DOI] [PMC free article] [PubMed] [Google Scholar]
18.Tong A, Sainsbury P, Craig J. Consolidated criteria for reporting qualitative research (COREQ): a 32-item checklist for interviews and focus groups. Int J Qual Health Care. 2007 Dec;19(6):349–357. doi: 10.1093/intqhc/mzm042. [DOI] [PubMed] [Google Scholar]
19.Ministério da Saúde (BR Portaria GM/MS nº 1.124, de 19 de maio de 2022. Institui, em caráter excepcional e temporário, o incentivo financeiro de custeio para as ações de promoção, proteção e apoio ao aleitamento materno e da alimentação complementar adequada e saudável para crianças menores de 2 (dois) anos de idade no âmbito da Estratégia Amamenta e Alimenta Brasil (EAAB), na Atenção Primária à Saúde (2022. Diário Oficial União. 2022 May 20;
20.Ministério da Saúde (BR) Secretaria de Atenção à Saúde. Departamento de Atenção Básica . Orientações para avaliação de marcadores de consumo alimentar na atenção básica. Brasília, DF: Ministério da Saúde; 2015. [Google Scholar]
21.Glasgow RE, Estabrooks PE. Pragmatic applications of RE-AIM for health care initiatives in community and clinical settings. Prev Chronic Dis. 2018 Jan;15:170271. doi: 10.5888/pcd15.170271. [DOI] [PMC free article] [PubMed] [Google Scholar]
22.Holtrop JS, Estabrooks PA, Gaglio B, Harden SM, Kessler RS, King DK, et al. Understanding and applying the RE-AIM framework: clarifications and resources. J Clin Transl Sci. 2021 May;5(1):e126. doi: 10.1017/cts.2021.789. [DOI] [PMC free article] [PubMed] [Google Scholar]
23.Carroll C, Patterson M, Wood S, Booth A, Rick J, Balain S. A conceptual framework for implementation fidelity. 40Implement Sci. 2007 Nov;2(1) doi: 10.1186/1748-5908-2-40. [DOI] [PMC free article] [PubMed] [Google Scholar]
24.Harden SM, Gaglio B, Shoup JA, Kinney KA, Johnson SB, Brito F, et al. Fidelity to and comparative results across behavioral interventions evaluated through the RE-AIM framework: a systematic review. 155Syst Rev. 2015 Nov;4(1) doi: 10.1186/s13643-015-0141-0. [DOI] [PMC free article] [PubMed] [Google Scholar]
25.Pérez-Escamilla R, Curry L, Minhas D, Taylor L, Bradley E. Scaling up of breastfeeding promotion programs in low- and middle-income countries: the "breastfeeding gear" model. Adv Nutr. 2012 Nov;3(6):790–800. doi: 10.3945/an.112.002873. [DOI] [PMC free article] [PubMed] [Google Scholar]
26.Slater E, Lasco ML, Capelli J, Pen G. Health in action program, Brazil: a Program Impact Pathways (PIP) analysis. Food Nutr Bull. 2014 Sep;35(3) Suppl:S108–S116. doi: 10.1177/15648265140353S203. [DOI] [PubMed] [Google Scholar]
27.Mukhina M, Novikova I. BeHealthy Charities Aid Foundation Program, Russia: a Program Impact Pathways (PIP) analysis. Food Nutr Bull. 2014 Sep;35(3) Suppl:S139–S144. doi: 10.1177/15648265140353S207. [DOI] [PubMed] [Google Scholar]
28.Proctor EK, Landsverk J, Aarons G, Chambers D, Glisson C, Mittman B. Implementation research in mental health services: an emerging science with conceptual, methodological, and training challenges. Adm Policy Ment Health. 2009 Jan;36(1):24–34. doi: 10.1007/s10488-008-0197-4. [DOI] [PMC free article] [PubMed] [Google Scholar]
29.Proctor E, Silmere H, Raghavan R, Hovmand P, Aarons G, Bunger A, et al. Outcomes for implementation research: conceptual distinctions, measurement challenges, and research agenda. Adm Policy Ment Health. 2011 Mar;38(2):65–76. doi: 10.1007/s10488-010-0319-7. [DOI] [PMC free article] [PubMed] [Google Scholar]
30.Lee RE, Galavíz KI, Soltero EG, Rosales Chavez J, Jauregui E, Lévesque L, et al. Applying the RE-AIM conceptual framework for the promotion of physical activity in low- and middle-income countries. Rev Latino-Am Enfermagem. 2017;25:e2923. doi: 10.1590/1518-8345.1894.2923. [DOI] [Google Scholar]
31.Glasgow RE, Battaglia C, McCreight M, Ayele RA, Rabin BA. Making implementation science more rapid: use of the RE-AIM framework for mid-course adaptations across five health services research projects in the Veterans Health Administration. 194Front Public Health. 2020 May;8 doi: 10.3389/fpubh.2020.00194. [DOI] [PMC free article] [PubMed] [Google Scholar]
32.D'Lima D, Soukup T, Hull L. Evaluating the application of the RE-AIM planning and evaluation framework: an updated systematic review and exploration of pragmatic application. 755738Front Public Health. 2022 Jan;9 doi: 10.3389/fpubh.2021.755738. [DOI] [PMC free article] [PubMed] [Google Scholar]
33.Kwan BM, McGinnes HL, Ory MG, Estabrooks PA, Waxmonsky JA, Glasgow RE. RE-AIM in the Real World: Use of the RE-AIM Framework for program planning and evaluation in clinical and community settings. 345Front Public Health. 2019 Nov;7 doi: 10.3389/fpubh.2019.00345. [DOI] [PMC free article] [PubMed] [Google Scholar]
34.Center for Disease Control and Prevention Writing SMART objectives. 2018. [cited 2024 July 3]. https://www.cdc.gov/healthyyouth/evaluation/pdf/brief3b.pdf
35.Aoki A, Mochida K, Kuramata M, Sadamori T, Bhandari AK, Freitas HR, et al. The RE-AIM framework-based evaluation of the implementation of the Maternal and Child Health Handbook program in Angola: a mixed methods study. 1071BMC Health Serv Res. 2022 Aug;22(1) doi: 10.1186/s12913-022-08454-9. [DOI] [PMC free article] [PubMed] [Google Scholar]
36.Buccini G, Gubert MB, Palmeira PA, Godoi L, Santos LD, Esteves G, et al. Scaling up a home-visiting program for child development in Brazil: a comparative case studies analysis. Lancet Reg Health Am. 2024 Jan;29:100665. doi: 10.1016/j.lana.2023.100665. [DOI] [PMC free article] [PubMed] [Google Scholar]
37.Buccini G, Venancio SI, Pérez-Escamilla R. Scaling up of Brazil's Criança Feliz early childhood development program: an implementation science analysis. Ann N Y Acad Sci. 2021 Aug;1497(1):57–73. doi: 10.1111/nyas.14589. [DOI] [PMC free article] [PubMed] [Google Scholar]

Rev Saude Publica. 2024 Sep 16;58:43. [Article in Portuguese]

Determinação de indicadores RE-AIM para avaliação da Estratégia Amamenta e Alimenta Brasil

Daiane Sousa Melo ^I, Sonia Isoyama Venancio ^II, Gabriela Buccini ^III

RESUMO

OBJETIVO

Confirmar o diagrama dos caminhos de impacto do programa e funções centrais da Estratégia Amamenta e Alimenta Brasil (EAAB) e determinar indicadores para avaliação da EAAB.

MÉTODOS

Trata-se de um estudo qualitativo, inserido no campo da pesquisa de implementação. A coleta de dados incluiu dois grupos focais com implementadores da EAAB, análise documental e revisão da literatura. A análise incluiu revisão das sugestões dos participantes e duas etapas de revisão do diagrama e dos nomes dos caminhos de impacto e funções centrais. Em seguida, foram construídas questões para a avaliação da EAAB com base no diagrama confirmado. Os indicadores do framework RE-AIM (reach, effectiveness, adoption, implementation, maintenance) foram adaptados para o contexto da EAAB. As questões de avaliação foram revisadas segundo domínios RE-AIM e, por fim, foram determinados indicadores para cada questão de avaliação.

RESULTADOS

Este estudo avançou na análise de implementação da EAAB, definindo 22 indicadores para seu monitoramento e avaliação. A maioria dos indicadores já são utilizados na implementação, entretanto, a análise com o framework RE-AIM permitiu atualizar os indicadores para serem mais específicos, mensuráveis e relevantes para os objetivos desejados.

CONCLUSÃO

Os resultados do estudo apoiam a aplicação pragmática da avaliação RE-AIM em programas de saúde e incentivam o planejamento de indicadores de avaliação de outros programas de saúde e desenvolvimento infantil na atenção primária.

Keywords: Aleitamento Materno, Fenômenos Fisiológicos da Nutrição do Lactente, Atenção Primária à Saúde, Ciência da Implementação

INTRODUÇÃO

No Brasil, a atenção primária é a porta de entrada da população ao Sistema Único de Saúde (SUS), o qual oferece acesso universal a uma rede de cuidados para proteção, promoção e apoio à saúde¹. Grande número de famílias são atendidas na atenção primária: em 2020, 54.105 equipes de saúde atuavam em mais de 44 mil unidades básicas de saúde (UBS) e atendiam 76,1% da população do Brasil, equivalente a mais de 159,9 milhões de pessoas^2,3. A alimentação infantil adequada e saudável é uma das diretrizes de saúde promovidas na atenção primária. Dados do Estudo Nacional de Alimentação e Nutrição Infantil (Enani-2019) mostraram 45,8% das crianças brasileiras menores de seis meses em aleitamento materno exclusivo e 86,3% entre seis a oito meses em introdução alimentar^4,5. A prevalência de sobrepeso em crianças menores de cinco anos era de 7,0%, enquanto 18,3% das crianças estavam em risco de sobrepeso⁶. Elevar os índices de aleitamento materno e melhorar a qualidade da introdução de alimentos nos primeiros anos de vida é fundamental para combater o excesso de peso e promover o desenvolvimento das crianças em seu potencial máximo. Para obter esses desfechos, o Ministério da Saúde do Brasil implementa, desde 2013, a Estratégia Amamenta e Alimenta Brasil (EAAB) na atenção primária⁷.

A EAAB visa qualificar ações de promoção e apoio ao aleitamento materno e práticas de alimentação complementar nas UBS. A EAAB é implementada com uma governança multinível por gestores no Ministério da Saúde e coordenadores em todos os estados e municípios do Brasil^7,8. A partir da educação permanente em cascata de profissionais da atenção primária, a EAAB forma tutores para liderarem oficinas de trabalho com as equipes de saúde nas UBS. As equipes desenvolvem um plano de ação para atender famílias de crianças menores de dois anos. Como resultado, a EAAB apoia a capacitação dos profissionais nas UBS e promove melhor acompanhamento dos marcadores do consumo alimentar das crianças menores de dois anos^9,10.

Em 2018, estavam formados mais de 5,5 mil tutores, que realizaram mais de 3,1 mil oficinas de trabalho nas UBS¹¹. Considerando que havia mais de 50 mil equipes de saúde no país³, esses resultados demonstraram que expansão da EAAB estava aquém do esperado. Assim, o Ministério da Saúde iniciou um projeto de fortalecimento da implementação com estratégias em escala nacional em quatro eixos: apoio aos coordenadores; expansão da formação de tutores; monitoramento da implementação nos municípios; e pesquisa e avaliação¹². Como parte do eixo pesquisa e avaliação, foi conduzida uma análise dos caminhos para alcançar o impacto da EAAB. Pesquisadores desenvolveram interativamente um diagrama da teoria dos caminhos de impacto do programa e analisaram barreiras e facilitadores para a implementação. Os resultados documentaram seis pontos críticos de controle da implementação da EAAB, premissas, facilitadores e fatores contextuais, descritos em outra publicação⁸. A análise desses elementos apontou sete funções centrais da implementação, ou seja, atividades planejadas que precisam ser seguidas para garantir a implementação bem-sucedida em larga escala⁸.

Especialistas recomendam que, após conduzir a análise do diagrama dos caminhos de impacto do programa, é importante considerar a implementação de um sistema sólido de avaliação de impacto que permita uma compreensão objetiva se o programa está atingindo as metas declaradas e se está seguindo os caminhos descritos no diagrama¹³. A escolha de indicadores deve ser informada pela análise dos caminhos de impacto do programa e pode utilizar estruturas/frameworks conceituais que apoiem a operacionalização dos indicadores¹³. O framework de avaliação RE-AIM (reach, effectiveness, adoption, implementation, maintenance), por exemplo, tem um longo histórico de uso para o planejamento e avaliação de programas de saúde¹⁴. Em síntese, o domínio “reach” avalia o quanto o programa alcança a população beneficiária; o domínio “effectiveness” analisa quais são os benefícios produzidos para a população beneficiária; o domínio “adoption” verifica onde e quem adota o programa, com maior foco nos implementadores, comunidades, organizações e sistemas; o domínio “implementation” afere a consistência da implementação, dos custos e das adaptações na entrega das ações; por fim, o domínio “maintenance” analisa a sustentabilidade dos resultados ao longo do tempo, tanto para a população beneficiária quanto no nível organizacional^14,15. Nesse tipo de análise é importante observar os indicadores já em uso pelos programas, os quais podem ser consultados com revisão da literatura e discussão com trabalhadores e tomadores de decisão do programa. Também é útil sugerir novos indicadores necessários, utilizando modelos e estruturas de avaliação para facilitar a identificação sistematizada de indicadores de implementação, efetividade e sustentabilidade¹⁶.

O investimento em pesquisa de implementação da EAAB nos últimos anos ajudou a esclarecer os caminhos e as atividades centrais para o sucesso da sua implementação. Visando avançar na análise de implementação da EAAB, este estudo teve como objetivo: 1) confirmar o diagrama dos caminhos de impacto do programa e funções centrais da EAAB e 2) definir indicadores para monitoramento e avaliação para compor um esquema robusto de avaliação da EAAB com base no framework RE-AIM.

MÉTODOS

A descrição das etapas metodológicas foi guiada pelo Standards for Reporting Implementation Studies (StaRI)¹⁷ e Consolidated criteria for reporting qualitative research (COREQ)¹⁸.

Desenho do Estudo

Trata-se de um estudo observacional qualitativo, inserido no campo da pesquisa de implementação. A coleta de dados incluiu dois grupos focais com implementadores da EAAB, análise documental e revisão da literatura. A Figura 1 descreve as etapas da coleta e análise de dados nas duas fases do estudo: 1) confirmação dos caminhos de impacto e funções centrais da EAAB e 2) definição de indicadores para avaliação da EAAB. Esta pesquisa foi aprovada pelo Comitê de Ética em Pesquisa da Faculdade de Saúde Pública da Universidade de São Paulo (USP), sob protocolo de número 15184019.2.0000.5421. Todos os participantes assinaram um Termo de Consentimento Livre e Esclarecido para registrarem sua intenção de participação.

Figura 1 — EAAB: Estratégia Amamenta e Alimenta Brasil; RE-AIM: Reach, Effectiveness, Adoption, Implementation, Maintenance.

Confirmação dos Caminhos de Impacto e Funções Centrais da EAAB

Seleção dos Participantes

Foram selecionados informantes-chave implementadores da EAAB no Ministério da Saúde, estados e municípios das cinco macrorregiões do país (Norte, Nordeste, Centro-Oeste, Sudeste e Sul). Foi selecionada uma amostra não probabilística intencional. Para captar as perspectivas de diferentes implementadores, foram excluídos informantes-chave que já haviam participado do estudo de análise dos caminhos de impacto do programa⁸. Os critérios de inclusão e participantes selecionados são descritos no Quadro 1. Foram selecionados estados e municípios com características de estágios avançados de implementação por terem mais experiência na implementação das oficinas de trabalho e certificação das UBS. As pessoas selecionadas foram convidadas por e-mail para participar da pesquisa. Apenas um município da região Nordeste não tinha disponibilidade na data, assim foram convidados informantes-chave do segundo município com estágio mais avançado da EAAB naquela região.

Quadro 1. Critérios de inclusão e participantes dos grupos focais.

Local de atuação	Critério de inclusão	Participantes
Federal	Até dois profissionais responsáveis pela coordenação da EAAB no Ministério da Saúde, atuando há pelo menos seis meses na EAAB.	Total de Coordenadores Federais (n=2) Coordenação-Geral de Alimentação e Nutrição (n = 1) Coordenação-Geral de Saúde Perinatal e de Aleitamento Materno (n = 1)
Estados	Um estado por macrorregião com maior proporção de municípios que realizaram oficinas de trabalho da EAAB entre os anos de 2013 e 2022. Até dois profissionais por estado, que trabalharam por pelo menos seis meses como coordenadores da EAAB.	Total de coordenadores estaduais (n = 7) Norte, Roraima (n = 1) Nordeste, Ceará (n = 1) Centro-Oeste, Mato Grosso do Sul (n = 2) Sudeste, Espírito Santo (n = 1) Sul, Rio Grande do Sul (n = 2)
Municípios	Um município por macrorregião, com maior número de unidades básicas de saúde certificadas. Um profissional que trabalhou por pelo menos seis meses como coordenador da EAAB no município.	Total de coordenadores municipais (n = 4) Norte, Manaus (n = 1) Centro-Oeste, Brasília (n = 1) Sudeste, Ribeirão Preto (n = 1) Sul, Gravataí (n = 1)
Municípios	Um profissional tutor da EAAB indicado pelo coordenador municipal, com pelo menos seis meses de atuação e que realizou oficina de trabalho em uma unidade básica de saúde.	Total de tutores (n = 2) Centro-Oeste, Brasília (n = 1) Sudeste, Ribeirão Preto (n = 1)

Open in a new tab

EAAB: Estratégia Amamenta e Alimenta Brasil; UBS: unidade básica de saúde.

Relações com os Participantes

Duas autoras, D.S.M. e S.I.V. fizeram parte do projeto nacional de fortalecimento da EAAB e participaram de reuniões remotas com implementadores da EAAB nos estados e municípios de todo o país, no período entre 2020 e 2022¹².

Coleta dos Dados

Foram conduzidos dois grupos focais online em novembro de 2022, sendo um grupo com coordenadores do Ministério da Saúde e de estados, e outro grupo com coordenadores municipais e tutores. Ao total participaram do primeiro grupo nove pessoas e, do segundo grupo, seis pessoas, além de uma moderadora (D.S.M.), uma observadora (S.I.V) e uma apoiadora técnica (C.B.S.) experientes em metodologia qualitativa. Foi utilizado um guia de discussão, elaborado por uma coautora (D.S.M) e revisado por três coautoras (D.S.M., S.I.V. e G.B.). Os grupos foram conduzidos em dois momentos: 1) confirmar o diagrama dos caminhos e 2) confirmar as funções centrais. Para facilitar a confirmação das atividades descritas no diagrama dos caminhos de impacto do programa da EAAB identificado em estudo prévio⁹, optou-se por adaptar as informações em seis diagramas: 1) caminhos das articulações e financiamento da EAAB, 2) caminhos para a formação de tutores, 3) caminhos do apoio dos tutores às equipes das UBS, 4) caminhos para o monitoramento da EAAB, 5) caminhos dos critérios de certificação e 6) caminhos do processo de certificação das UBS. Foram apresentados os quatro primeiros diagramas dos caminhos de impacto do programa da EAAB, e os diagramas 5 e 6 não foram apresentados por se tratar de atividades temporariamente suspensas na implementação da EAAB no momento da pesquisa. Num segundo momento, foi apresentado um quadro das funções centrais da EAAB: 1) presença de coordenadores nos três níveis de governo e articulação interfederativa e intersetorial; 2) alocação de recursos para a implementação da EAAB; 3) planejamento da implementação nas três esferas de governo; 4) estabelecimento de um grupo de facilitadores nacionais, formação de tutores e dos profissionais das UBS; 5) desenvolvimento de atividades para obter a certificação; 6) monitoramento e avaliação da implementação; 7) disseminação da EAAB. Após a apresentação de cada diagrama e do quadro de funções centrais, os participantes confirmaram se as descrições estavam adequadas ou se necessitavam de modificações.

Análise dos Dados

As anotações e os registros de áudio e vídeo dos dois grupos focais foram revisados pela primeira autora para destacar as sugestões apontadas pelos informantes-chave nos diagramas dos caminhos de impacto do programa e funções centrais da EAAB. Duas coautoras (D.S.M. e S.I.V.) revisaram mais uma vez os materiais para polir os textos. Em seguida, três coautoras (D.S.M., S.I.V. e G.B.) organizaram a formatação do diagrama final e os nomes dos caminhos da implementação da EAAB e das funções centrais.

Determinação de Indicadores para Monitoramento e Avaliação da EAAB

Análise Documental

Foi feita análise documental visando identificar os indicadores já utilizados para avaliar a EAAB. Foram consultados o Manual de Implementação da EAAB⁷, os relatórios de monitoramento do projeto de fortalecimento da EAAB em 2021 e 2022¹², a Portaria n^o 1.124, de 19 de maio de 2022 (que estabeleceu novos indicadores para monitoramento da EAAB)¹⁹, e as fichas de monitoramento da atenção básica para registro de marcadores de consumo alimentar e estado nutricional e atividades individuais e coletivas nas UBS²⁰.

Revisão de Literatura

O framework de avaliação RE-AIM foi escolhido para apoiar a determinação dos indicadores de monitoramento e avaliação da EAAB por ter um longo histórico de uso para o planejamento e avaliação de programas de saúde¹⁴. Foi realizada revisão da literatura para identificar definições dos domínios RE-AIM com o objetivo de adaptá-las para avaliar a EAAB. Foram incluídos artigos revisados por pares, textos complementares e checklists oficiais disponíveis no website: https://re-aim.org/assessments/²¹.

Análise

O diagrama confirmado dos caminhos de impacto da EAAB (Figura 2) e os indicadores utilizados para avaliar a EAAB foram consultados para guiar a construção de questões para avaliação da EAAB. As questões de avaliação foram rascunhadas em um processo interativo de discussões considerando três estruturas principais do diagrama: o processo de implementação, os desfechos no serviço e os desfechos na população. Em seguida, em um processo interativo de discussões, as autoras adaptaram as definições dos indicadores de desfechos de implementação RE-AIM para o contexto da EAAB. Então, as questões de avaliação foram revisadas e alocadas nos domínios do RE-AIM na ordem: adoção, implementação, alcance, efetividade e manutenção. Por fim, os indicadores já utilizados na EAAB foram reorganizados, alguns agrupados, outros excluídos ou adaptados, e assim foram definidos indicadores para cada questão de avaliação e organizados em níveis: organizacional (estados, municípios e UBS), dos profissionais (tutores e equipes de saúde), e individual (população alvo beneficiária)²².

RESULTADOS

Confirmação dos Caminhos de Impacto e Funções Centrais da EAAB

O diagrama dos caminhos de impacto do programa da EAAB após confirmação e revisão (Figura 2) é organizado em três estruturas: “processo de implementação”, “desfechos no serviço” e “desfechos na população”. Dentro dessas estruturas são destacadas as atividades de “entradas”, “processos”, “saídas” (que incluem resultados de curto prazo e intermediários) e “impactos” os quais são os resultados esperados no longo prazo. Então são detalhados no diagrama quatro caminhos de impacto: 1) caminhos das articulações entre coordenadores, planejamento e financiamento da implementação EAAB; 2) caminhos do treinamento para formação de tutores e oficinas de trabalho; 3) caminhos das atividades complementares e promoção da alimentação infantil saudável; e 4) caminhos para o monitoramento, avaliação e disseminação da EAAB. Por fim, são apresentados os facilitadores na base do diagrama de cada caminho, que são atividades ou contextos que facilitam obter sucesso na implementação.

Os participantes concordaram com as definições das sete funções centrais da EAAB. Visando deixar os nomes das funções centrais mais objetivos, sem comprometer o seu conteúdo, as funções centrais foram reorganizadas em oito itens: 1) governança multinível, 2) apoio político e legislativo, 3) financiamento e recursos, 4) planejamento e metas, 5) treinamento e oficinas de trabalho, 6) entrega e promoção, 7) pesquisa, monitoramento e avaliação e 8) comunicação social. Essa reorganização teve como referência o modelo das engrenagens para o sucesso de programas de promoção da amamentação em países de baixa e média renda²⁵. As funções centrais da EAAB são objetivos estruturais e atividades importantes para o sucesso da implementação, portanto, elas foram incorporadas aos diagramas dos quatro caminhos de impacto, como apresentado na Figura 2.

Determinação de Indicadores para Monitoramento e Avaliação da EAAB

Foram identificados 11 indicadores no Manual de Implementação da EAAB, 11 nos relatórios do projeto de fortalecimento da EAAB e três na Portaria n^o 1.124/2022. A maioria dos indicadores foi mantida com adaptações em sua descrição para serem mais específicos e mensuráveis. Apenas três deles foram excluídos por se tratar de atividades específicas de critérios de certificação de ações nas UBS. Um novo indicador foi acrescentado, que se trata da avaliação dos estágios de implementação da EAAB. Como resultado, foram determinados 22 indicadores para avaliar as atividades que estão em vigor na implementação da EAAB. O Quadro 2 descreve: a definição dos indicadores RE-AIM adaptados para avaliação da EAAB, as questões para avaliação, os indicadores de avaliação e as fontes dos dados. No domínio “adoção” foram determinados quatro indicadores relacionados à formação de tutores e à presença de coordenadores nos estados e municípios. No domínio “implementação”, foram determinados sete indicadores referentes aos recursos financeiros, ao estágio de implementação e à consistência da implementação para a proteção, a promoção e o apoio da alimentação infantil saudável nas UBS. No domínio “alcance”, foram determinados três indicadores, focando na cobertura da população alvo de crianças menores de dois anos com as ações da EAAB. Para avaliar o domínio “efetividade” foram determinados dois indicadores do percentual de registro e da prevalência anual dos marcadores da alimentação infantil. Por fim, no domínio “manutenção” foram determinados seis indicadores que avaliam a institucionalização da implementação da EAAB nos municípios, a continuidade da atuação dos tutores e a contínua melhoria dos indicadores de efetividade.

Quadro 2. Definições dos domínios RE-AIM para avaliar a Estratégia Amamenta e Alimenta Brasil e indicadores de monitoramento e avaliação.

Domínios RE-AIM	Nível de avaliação	Definição para avaliação da EAAB	Questões para avaliação da EAAB	Indicadores de avaliação	Fonte de dados
Adoção (Onde e quem adota)	Organizacional (estados e municípios)	Refere-se ao percentual de estados e municípios com coordenadores responsáveis pela implementação e manutenção da EAAB.	Qual a proporção de estados e municípios no país com profissional atuando como coordenador da implementação da EAAB?	Percentual de estados com profissionais atuando como coordenador da implementação EAAB em relação ao total de estados	Formulário online
				Percentual de municípios com profissionais atuando como coordenador da implementação EAAB em relação ao total de municípios	Formulário online
		Refere-se ao percentual dos municípios que fizeram formação de tutores.	Qual a proporção de municípios no país com tutores formados?	Percentual de municípios com tutores formados em relação ao total de municípios	Sistema de gerenciamento da EAAB
	Profissionais tutores	Refere-se ao número de tutores responsáveis pela implementação e manutenção da EAAB.	O número de tutores da EAAB no município atende as expectativas do planejamento?	Número de tutores no município em relação ao número de tutores planejados	Sistema de gerenciamento da EAAB
Implementação (Como, e quão consistente é a implementação)	Organizacional (municípios e UBS)	Refere-se aos recursos financeiros para a implementação e ao estágio de implementação da EAAB no país.	Qual a proporção de municípios no país que estão utilizando recursos financeiros (recursos públicos de custeio de ações de alimentação e nutrição) para implementar a EAAB nas UBS?	Percentual de municípios que alocaram recursos financeiros para a implementação de ações da EAAB em relação ao total de municípios	Formulário online
			Qual a proporção de UBS no país que estão em estágio de implementação intermediário ou avançado da implementação da EAAB?	Percentual de UBS no país com estágio de implementação intermediário (com oficina de trabalho)	Sistema de gerenciamento da EAAB
				Percentual de UBS no país com estágio de implementação avançado (com certificação)	Sistema de gerenciamento da EAAB
	Profissionais das equipes de saúde	Refere-se à consistência da implementação da EAAB para a proteção, a promoção e o apoio da alimentação infantil saudável nas UBS.	Qual a proporção de equipes de saúde com um plano de ação da EAAB?	Percentual de equipes de saúde com plano de ação da EAAB em relação ao total de equipes de saúde por município	Sistema de gerenciamento da EAAB
			Qual a proporção de equipes de saúde que estão desenvolvendo ações sistemáticas coletivas para promoção da amamentação e alimentação complementar saudável?	Percentual de equipes de saúde com registros das ações coletivas para educação em saúde com população beneficiária de crianças de 0 a 3 anos em relação ao total de equipes de saúde por município	Sistema de gerenciamento da EAAB
					Sistema de Informação da Atenção Básica vigente
			Qual a proporção de equipes de saúde que estão monitorando os marcadores de consumo alimentar e do estado nutricional das crianças menores de dois anos?	Número de equipes de saúde com registros dos marcadores de consumo alimentar de crianças de 0 a 23 meses em relação ao total de equipes de saúde por município	Sistema de Informação da Atenção Básica vigente
				Número de equipes de saúde com registro do estado nutricional de crianças de 0 a 23 meses em relação ao total de equipes de saúde por município	Sistema de Informação da Atenção Básica vigente
Alcance (Quem e o quanto é alcançado)	Individual (população beneficiária)	Refere-se ao percentual da população beneficiária que participou das ações individuais ou coletivas para a promoção da amamentação e alimentação complementar e a cobertura dos marcadores de alimentação das crianças menores de dois anos.	Qual a cobertura de crianças menores de dois anos que estão sendo acompanhadas com ações individuais e coletivas nas UBS?	Percentual de crianças menores de dois anos acompanhadas nas UBS em atendimentos individuais no município em relação ao total da população de crianças menores de dois anos no município	Sistema de Informação da Atenção Básica vigente
				Percentual de crianças menores de dois anos acompanhadas nas UBS em atendimentos coletivos no município em relação ao total da população de crianças menores de dois anos no município
			Qual a cobertura de crianças menores de dois anos que estão tendo os marcadores de consumo alimentar registrados nas UBS?	Percentual de crianças menores de dois anos com registro dos marcadores de consumo alimentar em relação ao total da população de crianças menores de dois anos no município
Efetividade (Quais são os benefícios)	Individual (população beneficiária)	Refere-se ao desfecho de longo prazo (impacto), ao quanto a implementação da EAAB afeta a melhoria do registro e da prevalência de indicadores de amamentação e alimentação complementar das crianças menores de dois anos.	Houve melhora no registro e na prevalência dos marcadores de alimentação das crianças menores de dois anos nos municípios que implementaram a EAAB?	Percentual de registro dos marcadores de consumo alimentar de crianças de 0 a 23 meses em relação ao ano anterior por equipe de saúde	Sistema de Informação da Atenção Básica vigente
Efetividade (Quais são os benefícios)	Individual (população beneficiária)			Prevalência dos marcadores de consumo alimentar de crianças de 0 a 23 meses em relação ao ano anterior por equipe de saúde	Sistema de Informação da Atenção Básica vigente
Manutenção (Quando e por quanto tempo há resultados)	Organizacional (municípios)	Refere-se à institucionalização da implementação da EAAB nos municípios.	Qual a proporção de municípios no país com um plano de implementação da EAAB?	Percentual de municípios com plano de implementação da EAAB para o ano vigente em relação ao total de municípios	Formulário online
			Qual a proporção de municípios no país que incluíram a EAAB no plano municipal de saúde?	Percentual de municípios que incluíram a EAAB no plano municipal de saúde em relação ao total de municípios
		Refere-se à continuidade da implementação por meio da atuação dos tutores no longo prazo.	Qual a proporção de municípios com tutores ativos no último ano?	Percentual de municípios com tutores que registraram atividade complementar na UBS nos últimos seis meses em relação ao total de municípios no país
	Profissionais tutores		Qual a proporção de tutores ativos por município?	Percentual de tutores que registraram atividade complementar na UBS nos últimos seis meses em relação ao total de tutores formados no município
	Individual (população beneficiária)	Refere-se à contínua melhoria do registro e da prevalência dos marcadores de alimentação infantil no longo prazo.	Os municípios que implementaram a EAAB têm mostrado resultados anuais positivos no registro e na prevalência dos marcadores de alimentação infantil?	Percentual de municípios que apresentaram melhoria no percentual de registro dos marcadores de consumo alimentar de crianças de 0 a 23 meses no último ano em relação ao total de municípios	Sistemas de Informação da Atenção Primária
	Individual (população beneficiária)			Percentual de municípios que apresentaram melhoria na prevalência dos marcadores de consumo alimentar de crianças de 0 a 23 meses no último ano em relação ao total de municípios	Sistemas de Informação da Atenção Primária

Open in a new tab

Fonte: adaptado de Melo et al.⁹, Glasgow et al.¹⁸^,¹⁹; Holtrop et al.²⁰

RE-AIM: reach, effectiveness, adoption, implementation, maintenance; EAAB: Estratégia Amamenta e Alimenta Brasil; UBS: unidade básica de saúde.

DISCUSSÃO

Este estudo avançou na análise dos caminhos de impacto do programa da EAAB, confirmando interativamente as atividades e funções centrais da implementação com implementadores de diferentes níveis e locais de atuação. Os resultados da análise inicial e o framework de avaliação RE-AIM orientaram a determinação inédita de indicadores de adoção, implementação, alcance, efetividade e manutenção da EAAB.

A confirmação interativa do diagrama dos caminhos de impacto do programa é descrita na literatura como uma estratégia importante para que os coordenadores de programas de saúde tenham um conhecimento comum das atividades do programa do nível macro ao local^13,26,27. Em consonância com resultados descritos em outros estudos^26,27, na presente pesquisa o processo de interação entre pesquisadores e implementadores ajudou a confirmar as atividades centrais do programa e ter uma compreensão dos indicadores para mensurar os objetivos.

Este estudo contribuiu com ajustes nas definições dos caminhos de impacto, funções centrais e indicadores, alinhando a taxonomia recomendada na ciência da implementação²⁸. Assim, os 22 indicadores propostos permitem monitorar e avaliar processos de implementação (existência de coordenadores e formação de tutores), desfechos no serviço (operacionalização das oficinas de trabalho e ações nas UBS) e desfechos na população (registro e melhoria dos marcadores da amamentação e alimentação complementar). Conceituar e medir os resultados da implementação, como apresentado em nossa pesquisa, é uma etapa crítica para a compreensão dos processos de implementação, para aumentar a efetividade na pesquisa sobre implementação, e para abrir caminhos para estudos comparativos sobre as estratégias de implementação²⁹.

Este estudo apresentou uma descrição compreensiva do passo a passo metodológico para determinar indicadores para a EAAB. Essa é uma importante contribuição para a literatura, por ser observada uma escassez de publicações que demonstram o detalhamento dos métodos utilizados na determinação de indicadores de avaliação a partir da análise dos caminhos de impacto do programa^26,27. Nesse sentido, em nosso estudo, a utilização do framework de avaliação RE-AIM para guiar a definição dos indicadores, garantiu robustez dos métodos e dos resultados e confirmou a utilidade e aplicabilidade desse framework para guiar a avaliação de programas em larga escala como a EAAB³⁰.

O framework RE-AIM é uma ferramenta útil para determinar ajustes e estabelecer metas durante o processo de implementação de projetos de melhoria de serviços de saúde³¹. Entretanto, os estudos são predominantemente de países de alta renda e a aplicação do framework tem sido mais pragmática, ou seja, geralmente não são avaliados todos os domínios RE-AIM³². Estudos demonstraram que, durante o planejamento de programas, a maioria dos implementadores dão maior foco para os domínios “alcance” e “implementação” e menor atenção para os domínios “efetividade” e “manutenção”^31,33, sendo esse último considerado pelos membros como o menos importante para propor ajustes durante a implementação dos projetos. O presente estudo preenche essas lacunas ao determinar indicadores dos cinco domínios RE-AIM para planejar a avaliação de um programa de promoção da alimentação infantil em larga escala em um país de média renda.

Foram definidos indicadores para monitorar e avaliar a EAAB que em sua maioria já estavam sendo utilizados. A análise permitiu atualizar os indicadores para serem mais específicos, ou seja, mais claros para capturar as mudanças desejadas em desfechos-chave, como recomendado na literatura¹³. Especialistas recomendam que os indicadores informados pela análise dos caminhos de impacto do programa sejam específicos, mensuráveis, alcançáveis, relevantes e temporais, observando se já estão em uso pelo programa ou se são planejados¹³. Um exemplo foi a atualização do indicador “número de tutores formados” para “número de tutores no município em relação ao número de tutores planejados no plano de implementação”, assim o indicador é mais específico para a adoção no nível municipal e mede a existência de um plano de formação de tutores.

Alguns indicadores da EAAB eram específicos de critérios de certificação que estavam sob revisão pelo Ministério da Saúde. Estudo prévio demonstrou que as equipes das UBS tinham dificuldade de organizar e enviar os documentos comprobatórios de determinadas atividades para a certificação e o Ministério da Saúde tinha sobrecarga de tarefas que atrasava a análise dos documentos enviados⁸. Portanto, justificou-se manter no domínio “implementação” indicadores dos critérios de certificação mensuráveis (quantitativos e com rastreamento do progresso ao longo do tempo) e alcançáveis (realisticamente mensuráveis com os dados e recursos disponíveis)³⁴.

Aoki et al.³⁵ utilizaram 14 indicadores baseados no framework RE-AIM para avaliar o estágio de implementação de um programa de promoção da saúde materno-infantil em instituições de saúde em Angola. As instituições foram classificadas em grupos de implementação ideal ou sub ótima, enquanto entrevistas permitiram complementar a avaliação e identificar barreiras e facilitadores da implementação. Em contraste, a EAAB passou primeiro por uma análise de barreiras e facilitadores para a implementação e teve documentado suas estratégias de implementação. Essas pesquisas geraram resultados positivos, especialmente na governança multinível e formação de tutores^8,12. Entende-se que os indicadores determinados nesse estudo poderão ser futuramente utilizados para avaliar estágios de implementação e identificar municípios prioritários para monitoramento tanto da qualidade quanto da efetividade da implementação da EAAB.

Uma fortaleza do quadro de indicadores apresentado nesse estudo é que ele favorece a aplicação do framework RE-AIM no mundo real, concordando com especialistas da área que incentivam a ampliação do uso do RE-AIM em programas de base comunitária³¹. No Brasil, poucos estudos utilizaram o framework RE-AIM para avaliar programas e políticas de saúde em larga escala^36,37. Sabe-se que o financiamento para a aplicação do RE-AIM é, muitas vezes, dependente de recursos externos dos programas, como de agências nacionais, da cooperação entre acadêmicos e serviços de saúde e de fundações³³. O presente estudo foi conduzido como parte de pesquisa de doutorado sob financiamento de uma agência nacional de fomento à pesquisa. Assim, foi possível dedicar tempo para uma análise profunda dos caminhos de impacto do programa e dos domínios RE-AIM e propor uma estrutura de avaliação sistemática da EAAB. Portanto, salienta-se a importância da cooperação entre academia e tomadores de decisão de políticas públicas e programas complexos de saúde, para, assim, tornar factível a aplicação pragmática do RE-AIM.

Esse estudo tem limitações e fortalezas. Os dados coletados nos grupos focais são limitados às percepções dos participantes que compareceram nos encontros, e que eram apenas de municípios com contexto de implementação avançada. O segundo grupo focal teve ausência do coordenador municipal e tutor da Região Nordeste e ausência de tutores das regiões Norte e Sul. Em compensação, no processo interativo de confirmação do diagrama dos caminhos de impacto, observou-se que a maioria das sugestões do segundo grupo eram similares as do primeiro grupo, demonstrando saturação e robustez dos resultados apresentados. Alguns dos indicadores determinados para a EAAB demandam do Ministério da Saúde o envio periódico de formulários online para os municípios, pois eles não estão disponíveis em sistemas de informação oficiais da atenção primária à saúde. Entende-se que podem ser necessárias adaptações futuras nas fontes dos dados desses indicadores. Apesar dessa limitação, consideramos que esses indicadores devem ser mantidos como parte do sistema de avaliação da EAAB, pois se referem à existência de coordenadores, ao financiamento e ao plano de implementação, os quais são pontos críticos para controle, identificados em estudo prévio de análise da implementação da EAAB⁸.

CONCLUSÕES

Esse estudo avançou na análise de implementação da EAAB ao determinar indicadores para avaliação tendo como referência teorias e frameworks da pesquisa de implementação. A teoria dos caminhos de impacto e as funções centrais confirmados funcionam como engrenagens para guiar a implementação da EAAB em larga escala de forma consistente e alcançar implementação bem-sucedida. Os conhecimentos obtidos por meio da interação com os coordenadores da EAAB das cinco macrorregiões do país apoiam a generalização dos resultados. Foram definidos indicadores para monitorar e avaliar a EAAB que, em sua maioria, já estavam sendo utilizados na implementação, entretanto, a análise com o framework RE-AIM permitiu atualizar os indicadores para serem mais específicos, mensuráveis e relevantes para os objetivos desejados. Em geral, os resultados do estudo apoiam a aplicação pragmática da avaliação RE-AIM em programas de saúde e incentiva o planejamento de indicadores de avaliação de outros programas de saúde e desenvolvimento infantil na atenção primária.

Footnotes

Financiamento: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes- processo 88887.716877/ 2022-00- bolsa de doutorado para DSM).

[B1] 1.Ministério da Saúde (BR Portaria nº 2.436, de 21 de setembro de 2017. Aprova a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes para a organização da Atenção Básica, no âmbito do Sistema Único de Saúde (SUS. Diário Oficial União. 2017 Sep 22;

[B2] 2.Ministério da Saúde (BR) Desempenho da Atenção Primária à Saúde no Brasil é alvo de pesquisa inédita. Brasília, DF: Ministério da Saúde; 2020. [cited 2023 June 10]. https://aps.saude.gov.br/noticia/10136 [Google Scholar]

[B3] 3.Ministério da Saúde (BR) E-Gestor. Cobertura da Atenção Básica. Brasília, DF: Ministério da Saúde; 2021. [cited 2023 June 10]. https://egestorab.saude.gov.br/paginas/acessoPublico/relatorios/relHistoricoCoberturaAB.xhtml [Google Scholar]

[B4] 4.Universidade Federal do Rio de Janeiro . Aleitamento materno: prevalência e práticas de aleitamento materno em crianças brasileiras menores de 2 anos. Rio de Janeiro: UFRJ; 2021. [cited 2024 Abr 3]. https://enani.nutricao.ufrj.br/index.php/relatorios/ ENANI 2019. [Google Scholar]

[B5] 5.Universidade Federal do Rio de Janeiro . Alimentação infantil I: prevalência de indicadores de alimentação de crianças menores de 5 anos. Rio de Janeiro: UFRJ; 2021. [cited 2024 Abr 3]. https://enani.nutricao.ufrj.br/index.php/relatorios/ ENANI 2019. [Google Scholar]

[B6] 6.Universidade Federal do Rio de Janeiro . Estado nutricional antropométrico da criança e da mãe: prevalência de indicadores antropométrico de crianças brasileiras menores de 5 anos de idade e suas mães biológicas. ENANI 2019. Rio de Janeiro, RJ: UFRJ; 2022. [cited 2024 Apr 3]. https://enani.nutricao.ufrj.br/index.php/relatorios/ [Google Scholar]

[B7] 7.Ministério da Saúde (BR) Secretaria de Atenção à Saúde . Estratégia nacional para promoção do aleitamento materno e alimentação complementar saudável no Sistema Único de Saúde: manual de implementação. Brasília, DF: Ministério da Saúde; 2015. [Google Scholar]

[B8] 8.Melo D, Venancio S, Buccini G. brazilian strategy for breastfeeding and complementary feeding promotion: a program impact pathway analysis. Int J Environ Res Public Health. 2022 Aug;19(16):9839. doi: 10.3390/ijerph19169839. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B9] 9.Relvas GR, Buccini G, Potvin L, Venancio S. Effectiveness of an educational manual to promote infant feeding practices in primary health care. Food Nutr Bull. 2019 Dec;40(4):544–561. doi: 10.1177/0379572119855308. [DOI] [PubMed] [Google Scholar]

[B10] 10.Bonini TP, Lino CM, Sousa ML, Mota MJ. Implantação e efeitos da Estratégia Amamenta Alimenta Brasil nas Unidades de Saúde de Piracicaba/SP. Res Soc Develop. 2021;10(14):e91101421528. doi: 10.33448/rsd-v10i14.21528. [DOI] [Google Scholar]

[B11] 11.Ministério da Saúde (BR) Coordenação-Geral de Alimentação e Nutrição. Área Técnica de Saúde da Criança e Aleitamento Materno [cited 2023 Apr 23];Estratégia amamenta e alimenta Brasil: relatórios. 2023 http://sisaps.saude.gov.br/eaab/Relatorios/relatorios.php

[B12] 12.Venancio SI, Relvas GR, Melo DS, Souza CB, Moreira HOM, Veras JJP, et al. Implementation strategies for a brazilian policy aimed at promoting breastfeeding and healthy complementary feeding in primary care. Glob Implement Res Appl. 2023;3(4):355–366. doi: 10.1007/s43477-023-00098-z. [DOI] [Google Scholar]

[B13] 13.Pérez-Escamilla R, Segura-Pérez S, Damio G. Applying the Program Impact Pathways (PIP) evaluation framework to school-based healthy lifestyles programs: Workshop Evaluation Manual. Food Nutr Bull. 2014 Sep;35(3) Suppl:S97–107. doi: 10.1177/15648265140353S202. [DOI] [PubMed] [Google Scholar]

[B14] 14.Glasgow RE, Harden SM, Gaglio B, Rabin B, Smith ML, Porter GC, et al. RE-AIM planning and evaluation framework: adapting to new science and practice with a 20-year review. 64Front Public Health. 2019 Mar;7 doi: 10.3389/fpubh.2019.00064. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B15] 15.Breitenstein SM, Gross D, Garvey CA, Hill C, Fogg L, Resnick B. Implementation fidelity in community-based interventions. Res Nurs Health. 2010 Apr;33(2):164–173. doi: 10.1002/nur.20373. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B16] 16.Grembowski D. The practice of health program evaluation. 2nd. Thousand Oaks: Sage; 2015. [Google Scholar]

[B17] 17.Pinnock H, Barwick M, Carpenter CR, Eldridge S, Grandes G, Griffiths CJ, et al. Standards for Reporting Implementation Studies (StaRI) Statement. BMJ. 2017 Mar;356 doi: 10.1136/bmj.i6795. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B18] 18.Tong A, Sainsbury P, Craig J. Consolidated criteria for reporting qualitative research (COREQ): a 32-item checklist for interviews and focus groups. Int J Qual Health Care. 2007 Dec;19(6):349–357. doi: 10.1093/intqhc/mzm042. [DOI] [PubMed] [Google Scholar]

[B19] 19.Ministério da Saúde (BR Portaria GM/MS nº 1.124, de 19 de maio de 2022. Institui, em caráter excepcional e temporário, o incentivo financeiro de custeio para as ações de promoção, proteção e apoio ao aleitamento materno e da alimentação complementar adequada e saudável para crianças menores de 2 (dois) anos de idade no âmbito da Estratégia Amamenta e Alimenta Brasil (EAAB), na Atenção Primária à Saúde (2022. Diário Oficial União. 2022 May 20;

[B20] 20.Ministério da Saúde (BR) Secretaria de Atenção à Saúde. Departamento de Atenção Básica . Orientações para avaliação de marcadores de consumo alimentar na atenção básica. Brasília, DF: Ministério da Saúde; 2015. [Google Scholar]

[B21] 21.Glasgow RE, Estabrooks PE. Pragmatic applications of RE-AIM for health care initiatives in community and clinical settings. Prev Chronic Dis. 2018 Jan;15:170271. doi: 10.5888/pcd15.170271. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B22] 22.Holtrop JS, Estabrooks PA, Gaglio B, Harden SM, Kessler RS, King DK, et al. Understanding and applying the RE-AIM framework: clarifications and resources. J Clin Transl Sci. 2021 May;5(1):e126. doi: 10.1017/cts.2021.789. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B23] 23.Carroll C, Patterson M, Wood S, Booth A, Rick J, Balain S. A conceptual framework for implementation fidelity. 40Implement Sci. 2007 Nov;2(1) doi: 10.1186/1748-5908-2-40. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B24] 24.Harden SM, Gaglio B, Shoup JA, Kinney KA, Johnson SB, Brito F, et al. Fidelity to and comparative results across behavioral interventions evaluated through the RE-AIM framework: a systematic review. 155Syst Rev. 2015 Nov;4(1) doi: 10.1186/s13643-015-0141-0. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B25] 25.Pérez-Escamilla R, Curry L, Minhas D, Taylor L, Bradley E. Scaling up of breastfeeding promotion programs in low- and middle-income countries: the "breastfeeding gear" model. Adv Nutr. 2012 Nov;3(6):790–800. doi: 10.3945/an.112.002873. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B26] 26.Slater E, Lasco ML, Capelli J, Pen G. Health in action program, Brazil: a Program Impact Pathways (PIP) analysis. Food Nutr Bull. 2014 Sep;35(3) Suppl:S108–S116. doi: 10.1177/15648265140353S203. [DOI] [PubMed] [Google Scholar]

[B27] 27.Mukhina M, Novikova I. BeHealthy Charities Aid Foundation Program, Russia: a Program Impact Pathways (PIP) analysis. Food Nutr Bull. 2014 Sep;35(3) Suppl:S139–S144. doi: 10.1177/15648265140353S207. [DOI] [PubMed] [Google Scholar]

[B28] 28.Proctor EK, Landsverk J, Aarons G, Chambers D, Glisson C, Mittman B. Implementation research in mental health services: an emerging science with conceptual, methodological, and training challenges. Adm Policy Ment Health. 2009 Jan;36(1):24–34. doi: 10.1007/s10488-008-0197-4. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B29] 29.Proctor E, Silmere H, Raghavan R, Hovmand P, Aarons G, Bunger A, et al. Outcomes for implementation research: conceptual distinctions, measurement challenges, and research agenda. Adm Policy Ment Health. 2011 Mar;38(2):65–76. doi: 10.1007/s10488-010-0319-7. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B30] 30.Lee RE, Galavíz KI, Soltero EG, Rosales Chavez J, Jauregui E, Lévesque L, et al. Applying the RE-AIM conceptual framework for the promotion of physical activity in low- and middle-income countries. Rev Latino-Am Enfermagem. 2017;25:e2923. doi: 10.1590/1518-8345.1894.2923. [DOI] [Google Scholar]

[B31] 31.Glasgow RE, Battaglia C, McCreight M, Ayele RA, Rabin BA. Making implementation science more rapid: use of the RE-AIM framework for mid-course adaptations across five health services research projects in the Veterans Health Administration. 194Front Public Health. 2020 May;8 doi: 10.3389/fpubh.2020.00194. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B32] 32.D'Lima D, Soukup T, Hull L. Evaluating the application of the RE-AIM planning and evaluation framework: an updated systematic review and exploration of pragmatic application. 755738Front Public Health. 2022 Jan;9 doi: 10.3389/fpubh.2021.755738. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B33] 33.Kwan BM, McGinnes HL, Ory MG, Estabrooks PA, Waxmonsky JA, Glasgow RE. RE-AIM in the Real World: Use of the RE-AIM Framework for program planning and evaluation in clinical and community settings. 345Front Public Health. 2019 Nov;7 doi: 10.3389/fpubh.2019.00345. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B34] 34.Center for Disease Control and Prevention Writing SMART objectives. 2018. [cited 2024 July 3]. https://www.cdc.gov/healthyyouth/evaluation/pdf/brief3b.pdf

[B35] 35.Aoki A, Mochida K, Kuramata M, Sadamori T, Bhandari AK, Freitas HR, et al. The RE-AIM framework-based evaluation of the implementation of the Maternal and Child Health Handbook program in Angola: a mixed methods study. 1071BMC Health Serv Res. 2022 Aug;22(1) doi: 10.1186/s12913-022-08454-9. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B36] 36.Buccini G, Gubert MB, Palmeira PA, Godoi L, Santos LD, Esteves G, et al. Scaling up a home-visiting program for child development in Brazil: a comparative case studies analysis. Lancet Reg Health Am. 2024 Jan;29:100665. doi: 10.1016/j.lana.2023.100665. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B37] 37.Buccini G, Venancio SI, Pérez-Escamilla R. Scaling up of Brazil's Criança Feliz early childhood development program: an implementation science analysis. Ann N Y Acad Sci. 2021 Aug;1497(1):57–73. doi: 10.1111/nyas.14589. [DOI] [PMC free article] [PubMed] [Google Scholar]

PERMALINK

Determining RE-AIM indicators for evaluating the Estratégia Amamenta e Alimenta Brasil (EAAB – Brazilian Breastfeeding and Complementary Feeding Strategy)

Daiane Sousa Melo

Sonia Isoyama Venancio

Gabriela Buccini

Roles

ABSTRACT

OBJECTIVE

METHODS

RESULTS

CONCLUSION

INTRODUCTION

METHODS

Study Design

Figure 1. Methodological stages of data collection and analysis.

Confirmation of EAAB Impact Paths and Core Functions

Selection of Participants

Chart 1. Inclusion criteria and focus group participants.

Relations with Participants

Data Collection

Data Analysis

Determining Indicators for Monitoring and Evaluating the EAAB

Documentary Analysis

Literature Review

Analysis

Figure 2. Diagram of EAAB program impact pathways confirmed and revised.

RESULTS

Confirmation of EAAB Impact Pathways and Core Functions

Determining Indicators for Monitoring and Evaluating the EAAB

Chart 2. Definitions of the RE-AIM domains for evaluating the Estratégia Amamenta e Alimenta Brasil (EAAB - Brazilian Breastfeeding and Complementary Feeding Strategy) and monitoring and evaluation indicators.

DISCUSSION

CONCLUSIONS

Funding Statement

Footnotes

REFERENCES

Determinação de indicadores RE-AIM para avaliação da Estratégia Amamenta e Alimenta Brasil

Daiane Sousa Melo

Sonia Isoyama Venancio

Gabriela Buccini

Roles

RESUMO

OBJETIVO

MÉTODOS

RESULTADOS

CONCLUSÃO

INTRODUÇÃO

MÉTODOS

Desenho do Estudo

Figura 1. Etapas metodológicas de coleta e análise dos dados.

Confirmação dos Caminhos de Impacto e Funções Centrais da EAAB

Seleção dos Participantes

Quadro 1. Critérios de inclusão e participantes dos grupos focais.

Relações com os Participantes

Coleta dos Dados

Análise dos Dados

Determinação de Indicadores para Monitoramento e Avaliação da EAAB

Análise Documental

Revisão de Literatura

Análise

Figura 2. Diagrama dos caminhos de impacto do programa da EAAB confirmado e revisado.

RESULTADOS

Confirmação dos Caminhos de Impacto e Funções Centrais da EAAB

Determinação de Indicadores para Monitoramento e Avaliação da EAAB

Quadro 2. Definições dos domínios RE-AIM para avaliar a Estratégia Amamenta e Alimenta Brasil e indicadores de monitoramento e avaliação.

DISCUSSÃO

CONCLUSÕES

Footnotes

ACTIONS

PERMALINK

RESOURCES

Similar articles

Cited by other articles

Links to NCBI Databases