Skip to main content
NCBI home page
Revista de Saúde Pública logoLink to Revista de Saúde Pública
. 2022 Nov 18;56:112. doi: 10.11606/s1518-8787.2022056004475
View full-text in Portuguese

Instruments to assess adherence to medication in people living with HIV: a scoping review

André Pereira dos Santos I,II,III,IV, Jéssica Fernanda Corrêa Cordeiro I, Isabela Fernanda Larios Fracarolli I, Euripedes Barsanulfo Gonçalves Gomide I,II,V, Denise de Andrade I,IV
PMCID: PMC9749734  PMID: 36629703

ABSTRACT

OBJECTIVE

To compile the instruments validated in Brazil for assessing adherence of people living with HIV to antiretroviral therapy.

METHODS

Scoping review using the Web of Science, Scopus, Medline (via PubMed), Embase, BDENF, CINAHL and Lilacs databases. In addition, the Preprints bioRxiv, Google Scholar and OpenGrey servers were checked. There was no language restriction for the search, and it considered articles published from the year 1996 onwards.

RESULTS

Three publications were included in the qualitative synthesis. Following were the instruments identified “Questionário para Avaliação da Adesão ao Tratamento Antirretroviral” (Questionnaire for Assessment of Adherence to Antiretroviral Treatment) developed in Porto Alegre (RS) and published in 2007; the “Escala de autoeficácia para adesão ao tratamento antirretroviral em crianças e adolescentes com HIV/Aids” (Self-efficacy Scale for Adherence to Antiretroviral Treatment in Children and Adolescents with HIV/Aids) developed in São Paulo (SP) and published in 2008; and the “WebAd-Q, um instrumento de autorrelato para monitorar a adesão à terapia antirretroviral em serviços de HIV/Aids no Brasil” (WebAd-Q, a self-report instrument to monitor adherence to antiretroviral therapy in HIV/Aids services in Brazil) developed in São Bernardo do Campo (SP) and published in 2018. The instruments were validated in Brazil, and presented statistically acceptable values for psychometric qualities.

CONCLUSION

The instruments to assess adherence of people living with HIV to antiretroviral therapy are validated strategies for the Brazilian context. However, their (re)use in different settings and contexts of the nation should be expanded. The use of these instruments by health professionals can improve the understanding of factors that act negatively and positively on antiretroviral therapy adherence, and the proposition of strategies intended to consolidate good adherence and intervene in the treatment of people with low therapeutic engagement.

Keywords: HIV Infections, therapy; Medication Adherence; Treatment Refusal; HIV Long-Term Survivors; Review

INTRODUCTION

With the advent of antiretroviral therapy (ART) after 1987 in some parts of the world, and in Brazil since 1996, with public, free, and universal access, advances in the constitution and strategy of administration of antiretroviral drugs transformed the understanding about human immunodeficiency virus (HIV) infection worldwide, whether or not associated with acquired immunodeficiency syndrome (Aids), changing the focus from a fatal disease to a chronic infection1,2.

Even with the prolonged remission of HIV described in literature3,4, to date there is no cure, and the treatment that brings the viral load to an undetectable level (< 40 copies/ml) has as its main component the patient’s adherence to antiretroviral therapy5. HIV control and health maintenance are promoted by the continuous and appropriate use of the ART, whose effectiveness is linked to the intake of drugs as prescribed, determining adherence to treatment. For satisfactory adherence, the use of antiretroviral drugs should be as close as possible to the prescription provided by the healthcare team, in order to comply with schedules, doses, and other instructions6. High levels of adherence have been consistently associated with better virologic, immunological, and clinical outcomes, with consequent increases in survival and quality of life for people living with HIV8. Additionally, considering that one of the pillars of the HIV epidemic control programs around the world is the strategy called U = U (undetectable = untransmissible), adherence to therapy has a positive impact on reducing the number of bound partner transmissions9,10. On the other hand, drug treatment abandonment or incorrect adherence can facilitate infection by opportunistic diseases and lead to death. In short, non-adherence to antiretroviral therapy negatively impacts social and political aspects, both for the public investment made and for controlling the epidemic11.

In recent years, Brazil has seen a decrease in the number of HIV infections. Between 2007 and 2020, 342,459 cases of HIV infection were reported to the Sistema de Informação de Agravos de Notificação (Brazilian Case Registry Information System)11. The Unified Health System has sustained its actions to ensure diagnosis and treatment for HIV, even during the covid-19 pandemic. The Ministry of Health prepared a “Monitoramento durante a pandemia da covid-19 – dados relacionados ao HIV” (Monitoring during the covid-19 pandemic - HIV-related data) panel, in which it brought important information about the numbers of people who started antiretroviral therapy each year. For example, in 2019, a total of 68,482 patients adhered to the ART; the following year, in 2020, there were 55,180 new adhesions12.

The barriers and facilitators for adherence to antiretroviral therapy are multifactorial, involving social, economic, systemic/professional (healthcare teams) issues, side effects to treatment, to the disease, and the uniqueness of the person living with HIV13. Each country and their regions may have specificities that could be configured as barriers to treatment; for example, countries such as Uganda, Tanzania, and Botswana may present obstacles in which hunger, waiting time for medication, and transportation costs are strong complicators for adhering to the ART14. In Brazil, the main factors associated with non-adherence to therapy are sociodemographic aspects, such as age (young), marital status (single), self-reported skin color (non-white), education (low level), income (low socioeconomic status), and vulnerability to HIV/Aids, such as licit and illicit drug use, use of health services (non-adherence to visits and contact with more than one healthcare service), added with clinical laboratory follow-up (perception of side effects and complexity of the therapeutic regimen)15,16.

Due to the different measurement instruments adopted at regional level, there is no national estimate of adherence to antiretroviral therapy; however, a recent literature review found that this rate rages between 18% and 74.3% depending on the location17.

Among the different instruments and techniques used to assess adherence of people living with HIV to therapy are the antiretroviral dispensation record18, medical record analysis19, self-completion questionnaire20, simplified questionnaire for assessment of ART adherence-SMAQ2121, etc. It has been observed, however, that the proposals for this assessment in healthcare services in Brazil do not use validated instruments and techniques17, which can lead to errors in verification and interpretation of results22.

This study aimed at tracking the instruments validated in Brazil to assess adherence of people living with HIV to antiretroviral therapy.

METHODS

Study Design

A scoping review is intended to address broad issues, focusing on more comprehensive results. This type of review rigorously and effectively identifies, examines, and systematizes a concept or unique trait of each study by identifying the nature of a broad field of knowledge23,24. The scoping review is systematized, and some steps are required to conduct it. Among these steps, five stages are considered mandatory and one optional: (1) identification of the research question; (2) identification of relevant studies; (3) selection of studies; (4) data mapping; (5) pooling, analysis, and summary of data; and (6) consultation with researchers (optional)23,24. This scoping review followed the guidelines of the checklist for systematic reviews and extension of meta-analyses for scoping reviews (Prisma-ScR)25.

Definition of the Question

In determining the research question, we decided to use the population (P), concept (C) and context (C)26 strategy. Here, (P) = people living with HIV who take antiretroviral therapy, (C) = instruments on adherence to antiretroviral therapy, and (C) = instruments validated in Brazil. The guiding question of this study was: Are there validated instruments in Brazil to assess adherence to antiretroviral therapy in people living with HIV?

Period

The search for studies was conducted in December 2020 by two researchers independently, avoiding bias in the number of articles.

Data Collection

Major healthcare databases were selected for search: Web of Science (WOS/ISI), Scopus, Medical Literature Analysis and Retrieval Online (Medline/PubMed), Embase, BDENF, The Cumulative Index to Nursing and Allied Health Literature (CINAHL), and Literatura Latino-Americana e do Caribe em Ciências da Saúde (Lilacs). In addition, the Preprints bioRxiv, Google Scholar and OpenGrey servers were checked for their recognition in the academic community, and due to the expressive number of documents available.

Selection Criteria

This search included primary studies, descriptive studies, reviews, editorials, and manuals published from 1996 onwards (the beginning of antiretroviral therapy implementation in Brazil as a universal and public access policy against HIV), without language restriction. The available full texts that answered the research question were selected. Articles repeated in more than one data source were counted only once. All studies found in the search were imported into Rayyan® software, where the entire analysis and selection process was performed.

Instrument Used to Collect Information

The descriptors used in this research were selected through the “Descritores em Ciências da Saúde” (DeCS) and “Medical Subject Headings” (MESH) databases, which are highlighted in Chart 1.

Chart 1. Search strategies used on the databases and data repositories.

Database Search Strategy
PubMed/Medline (“Acquired Immunodeficiency Syndrome” OR HIV) AND (“medication adherence” OR compliance) AND (“Surveys and Questionnaires”)
CINAHL (“Human Immunodeficiency Virus” OR “Anti-HIV Agents”) AND (“Medication Compliance”) AND (“Structured Questionnaires” OR “Surveys”)
Web of Science (Acquired Immunodeficiency Syndrome OR HIV) AND (medication adherence OR compliance) AND (Surveys and Questionnaires)
Scopus (“Acquired Immunodeficiency Syndrome” OR HIV) AND (“medication adherence” OR compliance) AND (“Surveys and Questionnaires”)
Embase Acquired Immunodeficiency Syndrome AND medication compliance AND questionnaire
BVS (Lilacs, BDENF) (Acquired Immunodeficiency Syndrome OR HIV) AND (medication adherence OR compliance) AND (Surveys and Questionnaires)
(Síndrome de inmunodeficiencia adquirida O VIH) Y (adherencia o cumplimiento a la medicación) Y (Encuestas y cuestionarios)
BioRxiv “Acquired Immunodeficiency Syndrome AND medication adherence AND Surveys and Questionnaires”
Google Scholar “Acquired Immunodeficiency Syndrome AND medication adherence AND Surveys and Questionnaires”
OpenGrey “Acquired Immunodeficiency Syndrome AND medication adherence AND Surveys and Questionnaires”
Open in a new tab

Data Processing and Analysis

Next, the data extracted by two independent reviewers were pooled, analyzed, and summarized. Questions and inconsistencies were analyzed and discussed by a third reviewer. Data were recorded in Microsoft Office Excel® spreadsheet, version 2010, and presented as to identification (author and year), objective, method, main results, biases and limitations of the study27.

RESULTS

The search in scientific literature for these validated instruments that assess patient adherence to antiretroviral therapy in Brazil resulted in the inclusion of three studies. The Figure shows the studies’ search, identification, exclusion, and selection process, according to the Prisma recommendations.

Figure. Flowchart of the selection of studies retrieved from the databases, adapted from the Preferred Reporting Items for Systematic Review and Meta-Analyses (Prisma) on the validated instruments that assess adherence to antiretroviral therapy in people living with HIV in Brazil.

Figure

Open in a new tab

Following were the instruments identified “Questionário para Avaliação da Adesão ao Tratamento Antirretroviral” (Questionnaire for Assessment of Adherence to Antiretroviral Treatment) developed in Porto Alegre and published in 200728; the “Escala de autoeficácia para adesão ao tratamento antirretroviral em crianças e adolescentes com HIV/Aids” (Self-efficacy Scale for Adherence to Antiretroviral Treatment in Children and Adolescents with HIV/Aids) developed in São Paulo and published in 200829; and the “WebAd-Q, um instrumento de autorrelato para monitorar a adesão à terapia antirretroviral em serviços de HIV/Aids no Brasil” (WebAd-Q, a self-report instrument to monitor adherence to antiretroviral therapy in HIV/Aids services in Brazil) developed in São Bernardo do Campo and published in 201830. All publications included in the qualitative synthesis of this scoping review were written in Portuguese and English, except the publication by Remor; Milner-Moskovics; Preussler, 200728, published exclusively in Portuguese. The three publications included were found in the Scopus database. The information extracted from these studies on identification, objective, method, main results and biases/limitations are presented on Chart 2.

Chart 2. Summary of studies included in the scoping review regarding the question: “Are there validated instruments in Brazil to assess adherence to antiretroviral therapy in people living with HIV?”.

Identification (author/year) Objective Method Main results Study limitations
Remor E, Milner-Moskovics J, Preussler G., 200728 Translate, adapt and validate the questionnaire for use in Brazil: Cuestionario para la Evaluación de la Adhesión al Tratamiento Antiretroviral (CEAT-VIH)”. It is a self-administered instrument to identify the degree of adherence to antiretroviral treatment in patients with HIV infection.

  • This methodological study was based on a questionnaire translated from the original Spanish into Portuguese, with a back translation process (Spanish/Portuguese/Spanish), and verbal evaluation of understanding with a small group of patients.

  • The analysis of psychometric properties involved 59 patients on antiretroviral treatment from Porto Alegre, Rio Grande do Sul, Brazil. Internal consistency and external criterion-related validity, sensitivity and specificity supported validation. For the final version of the CEAT-VIH (20 questions), the total score is obtained by the sum of all items (minimum possible value 17, maximum possible value 89).

  • Adequate reliability of the questionnaire (α = 0.64) and validity related to an external criterion (viral load; r = -0.48; p < 0.001) were observed. Also, adequate sensitivity (79.2%) and specificity (57.1%) of the questionnaire were observed for detection between individuals with undetectable and detectable viral load.

  • The optimal cutoff point suggested by the analysis is ≥ 76. The values below indicate insufficient adherence to treatment, and association with a detectable viral load. This score is associated with a sensitivity of 79.2%, and specificity of 57.1%.

  1. 1) Calculation for sample size is not presented.

  2. 2) Study in only one institution, making generalization difficult; therefore, it is not a nationally representative study.

  3. 3) The established cutoff point should be used with caution as the questionnaire is a self-administered instrument.

  4. 4) Hawthorne’s effect.
Costa LS, Latorre M do RD de O, Silva MH da, Bertolini DV, Machado DM, Pimentel SR, et al., 200829 Validate a self-efficacy scale for adherence to antiretroviral treatment in children and adolescents with HIV/Aids, taking into account the perspective of parents/guardians, and evaluate its reproducibility.

  • Methodological study conducted at the Hospital-Dia do Centro de Referência e Treinamento em DST/Aids (Day Hospital of the STD/Aids Reference and Training Center) in São Paulo. We interviewed the parents/guardians of 54 children and adolescents of 6 months to 20 years of age who went through routine consultation at the service. The self-efficacy data of adherence to antiretroviral prescription was calculated in two ways: factor analysis, and pre-defined formula. The internal consistency of the scale was verified by Cronbach’s α coefficient.

  • Validity was assessed by comparing the mean scores between groups of patients adherent and non-adherent to antiretroviral treatment (Mann-Whitney test), and calculation of Spearman’s correlation coefficient between scores and clinical parameters. Reproducibility was verified using the Wilcoxon test, the intraclass correlation coefficient, and Bland-Altman plots.

  • The self-efficacy scale consists of 21 questions. It showed good internal consistency (α = 0.87), and good reproducibility (ICC = 0.69 and ICC = 0.75). As for validity, the self-efficacy scale for following antiretroviral prescription was able to discriminate patients with adherence and with insufficient adherence to antiretroviral treatment (p = 0.002), and showed significant correlation with CD4 count (r = 0.28; p = 0.04).

  • Results are added with the fact that children/adolescents with adherence to antiretroviral treatment have higher expectancies of self-efficacy than those with insufficient adherence.

  • The self-efficacy scale for following antiretroviral prescription can be used to assess adherence to antiretroviral therapy in children and adolescents with HIV/ Aids, taking into account the perspective of parents/caregivers.

  1. This is not a Nationally representative study.

  2. Parents/caregivers responded for the children/adolescents. The perception of the target population of the study was not considered.

  3. Hawthorne’s effect.
Vale FC, Santa-Helena ET de, Santos MA, Carvalho WM do ES, Menezes PR, Basso CR, et al., 201830 Present the development and validation of the WebAd-Q Questionnaire, a self-report instrument to monitor adherence to antiretroviral therapy in HIV/Aids services in Brazil.

  • Methodological study. The WebAd-Q is an electronic questionnaire that contains three questions about taking antiretroviral drugs in the last week. It was constructed based on interviews and focus groups with 38 patients. Validity was verified in a study with a sample of 90 patients older than 18 years, on antiretroviral therapy for at least three months. The following comparative adherence measures were used: electronic monitoring, pill count, and self-report interview. The WebAd-Q was completed on day 6 twice, at least 1 hour apart.

  • The viral load of patients was obtained from service records. Agreement between WebAd-Q responses, associations and correlations with viral load and performance against other measures of adherence were analyzed.

  • Among guest patients, 74 (82.2%) responded to the WebAd-Q. No difficulties in answering the questionnaire were reported. The average response time was 5 min 47 sec.

  • The set of the three WebAd-Q questions obtained 89.8% agreement, with a Kappa of 0.77 (95% CI 0.61-0.94).

  • WebAd-Q insufficient adherence responses were associated with detectable viral load. Moderate correlations of viral load with insufficient adherence scale according to WebAd-Q were obtained. For all the three WebAd-Q questions, patients with responses of insufficient adherence were also noted as less adherent according to the other measures of adherence.

  • The WebAd-Q met the main requirements for questionnaire validation, showed high participant comprehension and association with viral load, and obtained agreement and good performance compared to competing measures.

  1. This is not a Nationally representative study.

  2. Sample loss may have reduced the statistical power of the study.

  3. Hawthorne’s effect.
Open in a new tab

In summary, all studies included in this review validated their instruments, indicating statistically acceptable values regarding the psychometric qualities of each instrument. The main bias/limitation observed regards sample specificity, i.e., they suggest caution in using the instruments when verifying adherence to therapy by people from other regions of Brazil.

DISCUSSION

This scoping review was driven by the mapping of instruments to measure adherence to antiretroviral therapy by people living with HIV validated in Brazil. To the best of our knowledge, this is the first study that has gathered the strategies that could be used in Brazil. The identification of these instruments is the main finding of our study, and may guide the production of relevant knowledge for health service planning and management. This review also advances the field of adherence to ART by analyzing and compiling the instruments that, based on the results achieved, can be accurately and safely interpreted, in light of the psychometric rigor of each proposal.

Considering the positive impact on the quality of life of people living with HIV who present adequate adherence to antiretroviral therapy, as well as the harms of irregularity or discontinuation of treatment, it is important to highlight that adherence is a collaborative process linked to the principle of autonomy, which implies active participation of the patient in healthcare. This cooperation between the person living with HIV and the multiprofessional team promotes the acceptance and incorporation of the therapeutic scheme into the daily treatment routine31.

In studies involving public health in Brazil, the instruments presented in this review28may improve understanding of the prevalence, incidence, and risk factors for poor adherence to ART, as well as propose strategies to improve drug adherence. In addition, the use of validated instruments will contribute to health professionals’ interventions in healthcare and better outcomes on the overall well-being of people living with HIV. The questions in the instruments included in our review include the five determinants that act negatively or positively on long-term treatment adherence established by the World Health Organization: social and economic factors, health system/team, treatment, disease, and patient-related factors13.

The “Cuestionario para la Evaluación de la Adhesión al Tratamiento Antirretroviral” (CEAT-VIH), built in 200232, is a simplified instrument comprising 20 questions applicable to adults living with HIV. In addition to its validation in Brazil28, the CEAT-HIV has been validated in Canada33, Portugal34 and Peru35, suggesting its usefulness and validity to assess adherence to antiretroviral therapy in different contexts. In the validation study in Brazil, a significant and positive association was observed between the number of pills and viral load (r = 0.32; p = 0.01), suggesting that the number of pills of the therapy may be a hindering aspect for treatment adherence. Administration of a number ≤ 10 tablets is associated with better adherence. A significant inverse association was also observed between the degree of adherence to antiretroviral therapy and viral load (r = -0.48; p = 0.000). The optimal cutoff point suggested by the analysis is ≥ 76. The values below indicate insufficient adherence to treatment, and association with a detectable viral load. Viral load is the clinical indicator most adopted in studies evaluating the accuracy of instruments to assess adherence to ART, indicating the relevance of drug adherence for a better prognosis of disease recovery17,36. Most items of the CEAT-VIH met the expected quality criteria, and there were no lost values. It suggests that all questions were understood by patients and could be answered.

Some national studies used the CEAT-VIH, such as the one developed in the city of Fortaleza (CE)37, another in the mid-western region of the state of Rio Grande do Sul38, and in five specialized healthcare services in the state of Pernambuco39. Low adherence to antiretroviral therapy was observed in these different contexts. This reality that legitimizes the use of the CEAT-HIV as a tool to be used by health professionals in planning healthcare and intervention in situations that interfere with adherence.

To date, the study on validation and reproducibility of a self-efficacy scale for adherence to ART in parents or caregivers of children and adolescents living with HIV/Aids is the first in the Brazilian context. The good internal consistency of the scale in the total sample of children and adolescents (α = 0.87) showed high association between the scale items, suggesting that it is reliable to measure self-efficacy in children and adolescents with HIV/Aids, considering the perspective of parents/caregivers. It was also observed that children/adolescents adherent to antiretroviral therapy have higher expectancies of self-efficacy than those with insufficient adherence. This indicates that higher self-efficacy is associated with better TCD 4+ lymphocyte responses (r = 0.28; p = 0.040). The article on validation suggests that self-efficacy score 2 be used in clinical routine, as it is calculated by a predefined and easily applicable formula. On the other hand, score 1 - also presented in the article - is a score made up of the questions that most correlate with the questions in the scale, requiring the researcher to be familiar with factor analysis, in addition to the use of a statistical package.

Some national studies have used score 2 of the self-efficacy scale to assess adherence of children and adolescents to antiretroviral therapy, among them a study conducted in Brasilia-DF40 and another in the city of São Paulo41. The study published in 201040 observed difficulties related to taking medication outside the home environment, missed doses, and delays in taking the medication. In the study published in 201241, a high rate of adherence to ART was identified, regardless of the sociodemographic profile of parents/caregivers. The self-efficacy scale to assess adherence of children and adolescents to drug therapy consists of 21 questions. This scope of information allows greater detailing of the aspects that hinder non-adherence, as well as those that facilitate therapeutic adherence.

The WebAd-Q instrument is a self-administered questionnaire developed in services targeted to people living with HIV. In the development and validation study30 a high level of test-retest agreement and good agreement between the responses and other indicators of adherence were observed. Similar to the two other instruments included in this scoping review28,29, the scale of insufficient adherence obtained by WebAd-Q showed moderate association when compared to the clinical outcome (viral load), i.e., the lower the adherence to antiretroviral therapy, the higher the viral load found. The WebAd-Q considers only the patient dimension within the five determinants associated with adherence to long-term treatment established by the World Health Organization13. It assesses whether all medications were taken at the prescribed times and doses during the last week, with good reliability.

The WebAd-Q was used to assess adherence to ART in a non-representative sample survey conducted in the five regions of Brazil42. A high proportion of non-adherence to antiretroviral therapy was observed. According to the authors, the WebAd-Q is a tool that can be quickly applied, favoring the routine care to people living with HIV, allowing the identification of gaps in the provision of counseling and guidance on therapy, and also allows the development of innovative strategies to prevent non-adherence.

We highlight the following strengths of the three studies included in this scoping review: (1) the measurement instruments involve simplified and objective questions, contributing to their understanding and facilitating the response; (2) adequate values of the psychometric analysis validation process, thus ensuring valid and accurate instruments to assess the adherence of people living with HIV to antiretroviral therapy in Brazil; and (3) situational diagnostic capacity regarding therapeutic adherence. The instruments enable continuous monitoring, contributing to decision-making together with the patient towards their effective adherence to the ART.

However, the instruments also present some weaknesses. As for the CEAT-HIV28, sample size bias is its weak point. In this study, we could identify whether the sample size considered is ideal for studies involving instrument validation. It is worth remembering that the established cutoff point should be used with caution as the questionnaire is a self-administered instrument. The proposed validation and reproducibility of a self-efficacy scale for adherence of children and adolescents to the ART29 considered the responses of parents or caregivers rather than the perception of the target study population. This is so far the only instrument validated in Brazil that assesses adherence of children and adolescents to antiretroviral therapy.

The WebAd-Q30 instrument, unlike the other two studies included, considers only the patient-related determinant associated with adherence. Finally, as these are self-administered instruments, they are subject to the Hawthorne’s effect, i.e., respondents may be influenced in their answers when considering the presence and/or possible “judgment” of the professional who will receive the answers regarding adherence to the ART. We highlight the fact that the studies were validated in people living with HIV in Brazil; however, the scope in the use of the questionnaires should be understood with caution, as instruments were validated considering the reality of a specific region or service in the country. In this sense, one should verify the feasibility of using the instruments in the scope of a national study, seeking to reflect the heterogeneity of both people under treatment in the country, and the traits of the services that assist them.

Even with the intrinsic limitations of this review, especially considering the large volume of studies that used different instruments to measure adherence of patients to antiretroviral therapy in Brazil, only three studies were validated from psychometric analyses for the national context. Thus, the quantity and methodological specificities of each study identified make it impossible to compare the realities and contexts in which instruments were validated. However, it reinforces the need for additional investments; that is, being (re)used in different settings. Furthermore, we believe that the results of this paper depict the scientific literature in this time and space, considering the consultation of the six main databases for the compilation of instruments to measure adherence to ART, validated in Brazil. For safety purposes, searches on the Preprints and gray literature servers were included.

We emphasize that this scoping review could gather and present, in a simplified and accessible way, the instruments validated in Brazil that assess adherence of people living with HIV to antiretroviral therapy. The studies included in this review enable the assessment of adherence of children, adolescents and adults living with HIV. In this sense, health professionals working in the care of these people can frequently identify and monitor their adherence and propose specific strategies for each person, in order to consolidate good adherence and intervene in the treatment of those not engaged in therapy. In summary, the use of validated instruments to measure adherence to long-term treatment can support public measures, as well as determine the influence or not of the determinants that act negatively on adherence, as established by the World Health Organization.

CONCLUSION

The instruments to assess adherence to antiretroviral therapy for people living with HIV included in this scoping review are strategies validated for the Brazilian context. However, their (re)use in different settings and contexts of the nation should be expanded. The use of these instruments by health professionals can improve the understanding of factors that act negatively or positively on adherence to ART, and the proposition of strategies intended to consolidate good adherence and intervene in the treatment of patients with low therapeutic engagement. We emphasize the need for further studies to develop an instrument for national use, which has its validation process in more cities and regions of Brazil.

Funding Statement

Funding: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes - funding code 001). Programa Nacional de Pós-Doutorado (Proceeding 88882.317622/2019-01)

Footnotes

Funding: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes - funding code 001). Programa Nacional de Pós-Doutorado (Proceeding 88882.317622/2019-01)

REFERENCES

  • 1.Wang X, Parameswaran S, Bagul D, Kishore R. Does online social support work in stigmatized chronic diseases? A study of the impacts of different facets of informational and emotional support on self-care behavior in an hiv online forum; ICIS 2017; December 10-13; Seoul, South Korea. [cited 2021 Jul 16]. Proceedings of. Presentation; Nº 22. https://aisel.aisnet.org/icis2017/General/Presentations/22/ [Google Scholar]
  • 2.Deeks SG, Lewin SR, Havlir DV. The end of AIDS: HIV infection as a chronic disease. Lancet. 2013;382(9903):1525–1533. doi: 10.1016/S0140-6736(13)61809-7. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 3.Hütter G, Nowak D, Mossner M, Ganepola S, Müssig A, Müßig A, et al. Long-term control of HIV by CCR5 Delta32/Delta32 stem-cell transplantation. N Engl J Med. 2009;360(7):692–698. doi: 10.1056/NEJMoa0802905. [DOI] [PubMed] [Google Scholar]
  • 4.Gupta RK, Abdul-Jawad S, McCoy LE, Mok HP, Peppa D, Salgado M, et al. HIV-1 remission following CCR5Δ32/Δ32 haematopoietic stem-cell transplantation. Nature. 2019;568(7751):244–248. doi: 10.1038/s41586-019-1027-4. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 5.Lori EM, Cozzi-Lepri A, Tavelli A, Mercurio V, Ibba SV, Lo Caputo S, et al. Evaluation of the effect of protective genetic variants on cART success in HIV-1-infected patients. J Biol Regul Homeost Agents. 2020;34(4):1553–1559. doi: 10.23812/19-527-L. [DOI] [PubMed] [Google Scholar]
  • 6.O’Connor J, Vjecha MJ, Phillips AN, Angus B, Cooper D, Grinsztejn B, et al. Effect of immediate initiation of antiretroviral therapy on risk of severe bacterial infections in HIV-positive people with CD4 cell counts of more than 500 cells per μL: secondary outcome results from a randomised controlled trial. Lancet HIV. 2017;4(3):e105–e112. doi: 10.1016/S2352-3018(16)30216-8. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 7.Shoko C, Chikobvu D, Bessong PO. Effects of antiretroviral therapy on CD4+ cell count, HIV viral load and death in a South African cohort: a modelling study. Pak J Biol Sci. 2020;23(4):542–551. doi: 10.3923/pjbs.2020.542.551. [DOI] [PubMed] [Google Scholar]
  • 8.Silva ACO, Reis RK, Nogueira JA, Gir E. Quality of life, clinical characteristics and treatment adherence of people living with HIV/AIDS. Rev Lat Am Enfermagem. 2014;22(6):994–1000. doi: 10.1590/0104-1169.3534.2508. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 9.Michienzi SM, Barrios M, Badowski ME. Evidence regarding rapid initiation of antiretroviral therapy in patients living with HIV. 7Curr Infect Dis Rep. 2021;23(5) doi: 10.1007/s11908-021-00750-5. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 10.Wu C, Zhang B, Dai Z, Zheng Q, Duan Z, He Q, et al. Impact of immediate initiation of antiretroviral therapy among men who have sex with men infected with HIV in Chengdu, southwest China: trends analysis, 2008-2018. 689BMC Public Health. 2021;21(1) doi: 10.1186/s12889-021-10580-8. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 11.Ministério da Saúde (BR) Secretaria de Vigilância em Saúde HIV/AIDS 2020. [cited 2021 May 8];Bol Epidemiol. 2020 (Espec):1–65. https://www.gov.br/saude/pt-br/centrais-de-conteudo/publicacoes/boletins/epidemiologicos/especiais/2020/boletim-hiv_aids-2020-internet.pdf . [Google Scholar]
  • 12.Ministério da Saúde (BR) Departamento de Condições Crônicas e Infecções Sexualmente Transmissíveis . Painel de monitoramento de dados de HIV durante a pandemia da COVID-19. Brasília, DF: 2020. [cited 2021 May 8]. http://www.aids.gov.br/pt-br/painelcovidHIV#:~:text=LAI-,PaineldemonitoramentodedadosdeHIVduranteapandemia,prevençãoàinfecçãopelovírus . [Google Scholar]
  • 13.World Health Organization . Diet, nutrition, and the prevention of chronic diseases: report of a joint WHO/FAO expert consultation. Geneva (CH): WHO; 2003. [cited 2021 Jul 16]. WHO Technical Report Series; Nº 916. http://apps.who.int/iris/bitstream/handle/10665/42665/WHO_TRS_916.pdf;jsessionid=2DC8A9F3975036E927DA4EAB3FDD4ED7?sequence=1 . [Google Scholar]
  • 14.Hardon AP, Akurut D, Comoro C, Ekezie C, Irunde HF, Gerrits T, et al. Hunger, waiting time and transport costs: time to confront challenges to ART adherence in Africa. AIDS Care. 2007;19(5):658–665. doi: 10.1080/09540120701244943. [DOI] [PubMed] [Google Scholar]
  • 15.Resende NH, Miranda SS, Ceccato MGB, Haddad JPA, Reis AMM, Silva DI, et al. Drug therapy problems for patients with tuberculosis and HIV/AIDS at a reference hospital. Einstein (São Paulo) 2019;17(4):eAO4696. doi: 10.31744/einstein_journal/2019AO4696. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 16.Bonolo PF, Gomes RRFM, Guimarães MDC. Adesão à terapia anti-retroviral (HIV/AIDS): fatores associados e medidas da adesão. Epidemiol Serv Saude. 2007;16(4):267–278. doi: 10.5123/S1679-49742007000400005. [DOI] [Google Scholar]
  • 17.Garbin CAS, Gatto RCJ, Garbin AJI. Adesão à terapia antirretroviral em pacientes HIV soropositivos no Brasil: uma revisão da literatura. Arch Health Investig. 2017;6(2):65–70. doi: 10.21270/archi.v6i2.1787. [DOI] [Google Scholar]
  • 18.Gomes RRFM, Machado CJ, Acurcio FA, Guimarães MDC. Utilização dos registros de dispensação da farmácia como indicador da não-adesão à terapia anti-retroviral em indivíduos infectados pelo HIV. Cad Saude Publica. 2009;25(3):495–506. doi: 10.1590/S0102-311X2009000300004. [DOI] [PubMed] [Google Scholar]
  • 19.Trombini ES, Schermann LB. Prevalência e fatores associados à adesão de crianças na terapia antirretroviral em três centros urbanos do sul do Brasil. Cien Saude Colet. 2010;15(2):419–425. doi: 10.1590/S1413-81232010000200018. [DOI] [PubMed] [Google Scholar]
  • 20.Leite LHM, Papa A, Valentini RC. Insatisfação com imagem corporal e adesão à terapia antirretroviral entre indivíduos com HIV/AIDS. Rev Nutr. 2011;24(6):873–882. doi: 10.1590/S1415-52732011000600008. [DOI] [Google Scholar]
  • 21.Tufano CS, Amaral RA, Cardoso LRD, Malbergier A. The influence of depressive symptoms and substance use on adherence to antiretroviral therapy. A cross-sectional prevalence study. Sao Paulo Med J. 2015;133(3):179–186. doi: 10.1590/1516-3180.2013.7450010. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 22.Jacques IJAA, Santana JM, Moraes DCA, Souza AFM, Abrão FMS, Oliveira RC. Avaliação da adesão à terapia antirretroviralentre pacientes em atendimento ambulatorial. [cited 2021 Jul 16];Rev Bras Cien Saude. 2015 18(4):303–308. https://periodicos.ufpb.br/index.php/rbcs/article/view/18326 . [Google Scholar]
  • 23.Munn Z, Peters MDJ, Stern C, Tufanaru C, McArthur A, Aromataris E. Systematic review or scoping review? Guidance for authors when choosing between a systematic or scoping review approach. 143BMC Med Res Methodol. 2018;18(1) doi: 10.1186/s12874-018-0611-x. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 24.Arksey H, O’Malley L. Scoping studies: towards a methodological framework. Int J Soc Res Methodol. 2005;8(1):19–32. doi: 10.1080/1364557032000119616. [DOI] [Google Scholar]
  • 25.Tricco AC, Lillie E, Zarin W, O’Brien KK, Colquhoun H, Levac D, et al. PRISMA extension for scoping reviews (PRISMA-ScR): checklist and explanation. Ann Intern Med. 2018;169(7):467–473. doi: 10.7326/M18-0850. [DOI] [PubMed] [Google Scholar]
  • 26.The Joanna Briggs Institute . Reviewers’ manual 2015: methodology for JBI scoping reviews. Adelaide (AU): JBI; 2015. [cited 2021 Jul 16]. https://nursing.lsuhsc.edu/JBI/docs/ReviewersManuals/Scoping-.pdf . [Google Scholar]
  • 27.Ursi ES, Galvão CM. Prevenção de lesões de pele no perioperatório: revisão integrativa da literatura. Rev Lat Am Enfermagem. 2006;14(1):124–131. doi: 10.1590/S0104-11692006000100017. [DOI] [PubMed] [Google Scholar]
  • 28.Remor E, Milner-Moskovics J, Preussler G. Adaptação brasileira do “Cuestionario para la Evaluación de la Adhesión al Tratamiento Antiretroviral”. Rev Saude Publica. 2007;41(5):685–694. doi: 10.1590/S0034-89102006005000043. [DOI] [PubMed] [Google Scholar]
  • 29.Costa LS, Latorre MRDO, Silva MH, Bertolini DV, Machado DM, Pimentel SR, et al. Validity and reliability of a self-efficacy expectancy scale for adherence to antiretroviral therapy for parents and carers of children and adolescents with HIV/AIDS. J Pediatr (Rio J) 2008;84(1):41–46. doi: 10.2223/JPED.1751. [DOI] [PubMed] [Google Scholar]
  • 30.Vale FC, Santa-Helena ET, Santos MA, Carvalho WMES, Menezes PR, Basso CR, et al. Desenvolvimento e validação do Questionário WebAd-Q para monitorar adesão à terapia do HIV. 62Rev Saude Publica. 2018;52 doi: 10.11606/S1518-8787.2018052000337. [DOI] [Google Scholar]
  • 31.Santos AP, Alves TC, Navarro AM, Machado DRL. Bollela VR, Primo LP, Mauriz RCLF, Morejón KML, organizadores, compilers. In: Adesão: o presente e o futuro na luta para o controle do HIV/Aids. Ribeirão Preto, SP: FUNPEC-Editora; 2016. O desafio da adesão: a perspectiva do profissional de Educação Física; pp. 57–76. [Google Scholar]
  • 32.Remor E. Valoración de la adhesión al tratamiento antirretroviral en pacientes VIH+ [cited 2021 Jul 16];Psicothema (Oviedo) 2002 14(2):262–267. http://www.psicothema.com/psicothema.asp?id=718 . [Google Scholar]
  • 33.Godin G, Gagné C, Naccache H. Validation of a self-reported questionnaire assessing adherence to antiretroviral medication. AIDS Patient Care STDS. 2003;17(7):325–332. doi: 10.1089/108729103322231268. [DOI] [PubMed] [Google Scholar]
  • 34.Reis AC, Lencastre L, Guerra MP, Remor E. Adaptação portuguesa do questionário para a avaliação da adesão ao tratamento anti-retrovírico-VIH (CEAT-VIH) [cited 2021 Jul 16];Psicol Saude Doenças. 2009 10(2):175–191. https://scielo.pt/pdf/psd/v10n2/v10n2a02.pdf . [Google Scholar]
  • 35.Tafur-Valderrama E, Ortiz C, Alfaro CO, García-Jiménez E, Faus MJ. Adaptación del “Cuestionario de Evaluación de la Adhesión al Tratamiento antirretroviral” (CEAT-VIH) para su uso en Perú. [cited 2021 Jul 16];Ars Pharm. 2008 49(3):183–198. https://revistaseug.ugr.es/index.php/ars/article/view/4967 . [Google Scholar]
  • 36.Simoni JM, Kurth AE, Pearson CR, Pantalone DW, Merrill JO, Frick PA. Self-report measures of antiretroviral therapy adherence: a review with recommendations for HIV research and clinical management. AIDS Behav. 2006;10(3):227–245. doi: 10.1007/s10461-006-9078-6. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 37.Galvão MTG, Soares LL, Pedrosa SC, Fiuza MLT, Lemos LA. Qualidade de vida e adesão à medicação antirretroviral em pessoas com HIV. Acta Paul Enferm. 2015;28(1):48–53. doi: 10.1590/1982-0194201500009. [DOI] [Google Scholar]
  • 38.Primeira MR, Santos EEP, Züge SS, Magnago TSBS, Paula CC, Padoin SMM. Avaliação da adesão ao tratamento antirretroviral de pessoas vivendo com HIV. Saude Pesq. 2018;11(2):307–314. doi: 10.17765/1983-1870.2018v11n2p307-314. [DOI] [Google Scholar]
  • 39.Cabral JR, Cabral LR, Moraes DCA, Oliveira ECS, Freire DA, Silva FP, et al. Fatores associados à autoeficácia e à adesão da terapia antirretroviral em pessoas com HIV: teoria social cognitiva. Cien Cuid Saude. 2021;20:e58781. doi: 10.4025/cienccuidsaude.v20i0.58781. [DOI] [Google Scholar]
  • 40.Guerra CPP, Seidl EMF. Adesão em HIV/AIDS: estudo com adolescentes e seus cuidadores primários. [cited 2021 Jul 16];Psicol Estud. 2010 15(4):781–789. https://www.scielo.br/j/pe/a/sHz6CRWjc8BnYJHFdhp7m9h/?lang=pt . [Google Scholar]
  • 41.Lopes LK. A adesão ao tratamento antirretroviral por crianças e adolescentes com HIV/Aids. São Paulo: Faculdade de Saúde Pública da USP; 2012. [cited 2022 Feb 15]. tese. https://www.teses.usp.br/teses/disponiveis/6/6132/tde-22012013-114651/publico/TESE.pdf . [Google Scholar]
  • 42.Santos MA, Guimarães MDC, Santa Helena ET, Basso CR, Vale FC, Carvalho WMES, et al. Monitoring self-reported adherence to antiretroviral therapy in public HIV care facilities in Brazil: a national cross-sectional study. Medicine. 2018;97(1) Suppl:S38–S45. doi: 10.1097/MD.0000000000009015. [DOI] [PMC free article] [PubMed] [Google Scholar]
Rev Saude Publica. 2022 Nov 18;56:112. [Article in Portuguese]

Instrumentos para avaliar a adesão medicamentosa em pessoas vivendo com HIV: uma revisão de escopo

André Pereira dos Santos I,II,III,IV, Jéssica Fernanda Corrêa Cordeiro I, Isabela Fernanda Larios Fracarolli I, Euripedes Barsanulfo Gonçalves Gomide I,II,V, Denise de Andrade I,IV

RESUMO

OBJETIVO

Compilar os instrumentos validados no Brasil para avaliação da adesão de pessoas vivendo com HIV à terapia antirretroviral.

MÉTODOS

Revisão de escopo, utilizando as bases de dados Web of Science, Scopus, Medline (via PubMed), Embase, BDENF, CINAHL e Lilacs. Em complementação, os servidores Preprints bioRxiv, Google Scholar e OpenGrey foram verificados. Para a busca, não houve restrição de idioma e considerou artigos publicados a partir do ano de 1996.

RESULTADOS

Três publicações foram incluídas na síntese qualitativa. Os instrumentos identificados foram o “Questionário para Avaliação da Adesão ao Tratamento Antirretroviral”, desenvolvido em Porto Alegre (RS) e publicado em 2007; a “Escala de autoeficácia para adesão ao tratamento antirretroviral em crianças e adolescentes com HIV/Aids”, desenvolvida em São Paulo (SP) e publicada em 2008; e o “WebAd-Q, um instrumento de autorrelato para monitorar a adesão à terapia antirretroviral em serviços de HIV/Aids no Brasil”, desenvolvido em São Bernardo do Campo (SP) e publicado em 2018. Os instrumentos foram validados no Brasil e apresentaram valores estatisticamente aceitáveis para as qualidades psicométricas.

CONCLUSÃO

Os instrumentos para avaliar a adesão de pessoas vivendo com HIV à terapia antirretroviral são estratégias validadas para o contexto do Brasil. Todavia há que se expandir a (re)utilização em diferentes cenários e contextos da nação. A utilização desses instrumentos por profissionais da saúde pode melhorar a compreensão dos fatores que atuam negativa e positivamente na adesão à terapia antirretroviral, e a proposição de estratégias com o objetivo de consolidar a boa adesão e intervir no tratamento das pessoas com baixo engajamento terapêutico.

Keywords: Infecções por HIV, terapia; Adesão à Medicação; Recusa do Paciente ao Tratamento; Sobreviventes de Longo Prazo ao HIV; Revisão

INTRODUÇÃO

Com o advento da terapia antirretroviral (TARV), após 1987, em alguns lugares do mundo, e no Brasil a partir de 1996, com o acesso público, gratuito e universal, os avanços na constituição e na estratégia de administração dos antirretrovirais transformou mundialmente a compreensão da infecção pelo Human immunodeficiency virus (HIV), associado ou não a acquired immunodeficiency syndrome (Aids), de uma doença fatal, para uma infecção crônica1,2.

Mesmo com a remissão prolongada do HIV descrita na literatura3,4, até o momento, não há cura e o tratamento que leva a carga viral a nível indetectável (< 40 cópias/ml), tem como principal componente a adesão do paciente à terapia antirretroviral5. O controle do HIV e a manutenção da saúde são promovidos pelo uso contínuo e adequado da TARV, cuja efetividade está atrelada à ingestão dos medicamentos conforme a prescrição, determinando sua adesão ao tratamento. Para uma adesão satisfatória, a utilização dos medicamentos antirretrovirais deve ser a mais próxima possível da prescrição fornecida pela equipe de saúde, de forma a cumprir horários, doses e demais indicações6. Altos níveis de adesão têm sido consistentemente associados a melhores resultados virológicos, imunológicos e clínicos, com consequente aumento na sobrevida e qualidade de vida de pessoas vivendo com HIV8. Adicionalmente, considerando que um dos pilares dos programas de controle da epidemia de HIV no mundo é a estratégia denominada I = I (indetectável = intransmissível), a adesão à terapia impacta positivamente na redução do número de transmissões de parceiros vinculados9,10. Por outro lado, o abandono do tratamento medicamentoso ou a adesão incorreta podem facilitar o contágio por doenças oportunistas e levar à morte. Em suma, a não adesão à terapia antirretroviral impacta negativamente em aspectos sociais e políticos, tanto pelo investimento público realizado quanto pelo controle da epidemia11.

Nos últimos anos, o Brasil registra uma diminuição no número de infecções pelo HIV. Entre os anos de 2007 e 2020, foram notificados no Sistema de Informação de Agravos de Notificação 342.459 casos de infecção pelo HIV11. O Sistema Único de Saúde manteve suas ações para garantir o diagnóstico e tratamento para o HIV, mesmo durante a pandemia da covid-19. O Ministério da Saúde elaborou um painel de “Monitoramento durante a pandemia da covid-19 – dados relacionados ao HIV”, em que apresentou informações importantes sobre os números de pessoas que iniciaram a terapia antirretroviral a cada ano, por exemplo, em 2019, um total de 68.482 pacientes aderiram à TARV; já no ano seguinte, em 2020, foram 55.180 novas adesões12.

As barreiras e os facilitadores para a adesão à terapia antirretroviral são multifatoriais, envolvendo questões sociais, econômicas, sistêmicas/profissionais (equipes de saúde), efeitos colaterais ao tratamento, à doença, e as particularidades da pessoa vivendo com HIV13. Cada país e suas regiões podem apresentar especificidades que se configuram como barreiras ao tratamento; por exemplo, países como Uganda, Tanzania e Botswana podem apresentar obstáculos em que a fome, o tempo de espera pelo medicamento e os custos de transporte são fortes complicadores para a adesão à TARV14. No Brasil, os principais fatores associados a não adesão a essa terapia são os aspectos sociodemográficos, como a idade (jovem), estado civil (solteiro), cor da pele autorreferida (não branca), escolaridade (baixo nível), renda (baixa condição socioeconômica) e a vulnerabilidade ao HIV/Aids, como o uso de drogas lícitas e ilícitas, uso dos serviços de saúde (não adesão às consultas e contato com mais de um serviço de saúde), e o acompanhamento clínico laboratorial (percepção dos efeitos colaterais e complexidade do regime terapêutico)15,16.

Devido aos diferentes instrumentos de medidas adotados regionalmente, não existe uma estimativa nacional de adesão à terapia antirretroviral, contudo, uma recente revisão de literatura observou que essa taxa varia entre 18% e 74,3%, dependendo da localidade17.

Dentre os diferentes instrumentos e técnicas utilizados para avaliar a adesão da pessoa vivendo com HIV à terapia estão o registro de dispensação dos antirretrovirais18, a análise do prontuário médico19, questionário de autopreenchimento20, o questionário simplificado para avaliação da adesão à TARV-SMAQ21 etc. Contudo, observa-se que as propostas para essa avaliação em serviços de saúde no Brasil não utilizam instrumentos e técnicas validados17, o que pode levar a erro de verificação e interpretação dos resultados22.

Assim, o presente estudo teve como objetivo mapear os instrumentos validados no Brasil para avaliar a adesão de pessoas vivendo com HIV à terapia antirretroviral.

MÉTODOS

Delineamento do Estudo

Estudo de revisão do tipo scoping review ou revisão de escopo, com a intenção de abordar assuntos amplos, com foco em resultados mais abrangentes. Esse tipo de revisão identifica, examina e sistematiza rigorosamente e efetivamente um conceito ou características singulares de cada estudo ao identificar a natureza de um amplo campo do conhecimento23,24. A revisão de escopo é sistematizada e para sua realização, algumas etapas são exigidas. Dentre essas etapas, cinco estágios são considerados obrigatórios e um opcional: (1) identificação da questão de pesquisa; (2) identificação dos estudos relevantes; (3) seleção dos estudos; (4) mapeamento dos dados; (5) agrupamento, análise e resumo dos dados; e (6) consulta a pesquisadores (opcional)23,24. Esta revisão de escopo seguiu as diretrizes da lista de conferências de itens para revisões sistemáticas e extensão de metanálises para revisões de escopo (Prisma-ScR)25.

Definição da Pergunta

Ao determinar a pergunta de investigação, optou-se pela utilização da estratégia population (P), concept (C) and context (C)26. Em que, (P) – pessoas vivendo com HIV que fazem uso de terapia antirretroviral, (C) instrumentos de adesão à terapia antirretroviral, e (C) instrumentos validados no Brasil. Assim, a questão norteadora deste estudo foi: Há instrumentos validados no Brasil para avaliar a adesão à terapia antirretroviral em pessoas vivendo com HIV?

Período

A busca dos estudos foi realizada em dezembro de 2020 por dois pesquisadores, de forma independente, evitando o viés no número de artigos.

Coleta de Dados

As principais bases de dados da área da saúde foram selecionadas para busca: Web of Science (WOS/ISI), Scopus, Medical Literature Analysis and Retrieval Online (Medline/PubMed), Embase, BDENF, The Cumulative Index to Nursing and Allied Health Literature (CINAHL) e Literatura Latino-Americana e do Caribe em Ciências da Saúde (Lilacs). Em complementação, os servidores Preprints bioRxiv, Google Scholar e OpenGrey foram verificados por apresentarem reconhecimento na comunidade acadêmica e devido ao expressivo número de documentos disponíveis.

Critérios de Seleção

Foram inseridos nesta pesquisa estudos primários, descritivos, revisões, editoriais e manuais publicados a partir de 1996 (início da implantação da terapia antirretroviral no Brasil como política de acesso público e universal contra o HIV), e sem restrição de idioma. Foram selecionados os textos completos disponíveis e que respondessem à pergunta de investigação. Artigos repetidos em mais de uma fonte de dados foram contabilizados apenas uma vez. Todos os estudos encontrados na busca foram importados para o software Rayyan®, no qual foi realizado todo o processo de análise e seleção.

Instrumento Utilizado para a Coleta das Informações

Os descritores utilizados nesta pesquisa foram selecionados por meio dos bancos de dados “Descritores em Ciências da Saúde” (DeCS) e “Medical Subject Head Medical Subject Headings” (MESH), que estão destacados no Quadro 1.

Quadro 1. Estratégias de buscas utilizadas nas bases de dados e repositórios.

Base de dados Estratégia de busca
PubMed/Medline (“Acquired Immunodeficiency Syndrome” OR HIV) AND (“medication adherence” OR compliance) AND (“Surveys and Questionnaires”)
CINAHL (“Human Immunodeficiency Virus” OR “Anti-HIV Agents”) AND (“Medication Compliance”) AND (“Structured Questionnaires” OR “Surveys”)
Web of Science (Acquired Immunodeficiency Syndrome OR HIV) AND (medication adherence OR compliance) AND (Surveys and Questionnaires)
Scopus (“Acquired Immunodeficiency Syndrome” OR HIV) AND (“medication adherence” OR compliance) AND (“Surveys and Questionnaires”)
Embase Acquired Immunodeficiency Syndrome AND medication compliance AND questionnaire
BVS (Lilacs, BDENF) (Acquired Immunodeficiency Syndrome OR HIV) AND (medication adherence OR compliance) AND (Surveys and Questionnaires)
(Síndrome de inmunodeficiencia adquirida O VIH) Y (adherencia o cumplimiento a la medicación) Y (Encuestas y cuestionarios)
BioRxiv “Acquired Immunodeficiency Syndrome AND medication adherence AND Surveys and Questionnaires”
Google Scholar “Acquired Immunodeficiency Syndrome AND medication adherence AND Surveys and Questionnaires”
OpenGrey “Acquired Immunodeficiency Syndrome AND medication adherence AND Surveys and Questionnaires”
Open in a new tab

Tratamento e Análise dos Dados

Na sequência, realizou-se o agrupamento, análise e resumo dos dados extraídos por dois revisores independentes. As dúvidas e incongruências foram analisadas e discutidas por um terceiro revisor. Os dados foram registrados em planilha Microsoft Office Excel®, versão 2010, e apresentados quanto à identificação (autoria e ano), objetivo, método, principais resultados, vieses e limitações do estudo27.

RESULTADOS

A busca na literatura científica por esses instrumentos validados que avaliam a adesão dos pacientes à terapia antirretroviral no Brasil resultou na inclusão de três estudos. Na Figura observa-se o processo de busca, identificação, exclusão e seleção dos estudos, de acordo com as recomendações do Prisma.

Figura. Fluxograma da seleção dos estudos recuperados nas bases de dados, adaptado do Preferred Reporting Items for Systematic Review and Meta-Analyses (Prisma), sobre os instrumentos validados que avaliam a adesão à terapia antirretroviral em pessoas vivendo com HIV no Brasil.

Figura

Open in a new tab

Os instrumentos identificados foram o “Questionário para Avaliação da Adesão ao Tratamento Antirretroviral”, desenvolvido em Porto Alegre e publicado em 200728, a “Escala de autoeficácia para adesão ao tratamento antirretroviral em crianças e adolescentes com HIV/Aids”, desenvolvida em São Paulo e publicada em 200829, e o “WebAd-Q, um instrumento de autorrelato para monitorar a adesão à terapia antirretroviral em serviços de HIV/Aids no Brasil”, desenvolvido em São Bernardo do Campo e publicado em 201830. Todas as publicações incluídas na síntese qualitativa desta revisão de escopo foram escritas no idioma português e inglês, exceto a publicação de Remor; Milner-Moskovics; Preussler, 200728, publicada exclusivamente no idioma português. As três publicações incluídas estavam presentes na base de dados Scopus. As informações extraídas desses estudos sobre identificação, objetivo, método, resultados principais e vieses/limitações estão apresentadas no Quadro 2.

Quadro 2. Síntese dos estudos incluídos na revisão de escopo relativos à pergunta: “Há instrumentos validados no Brasil para avaliar a adesão à terapia antirretroviral em pessoas vivendo com HIV?”.

Identificação (autoria/ano) Objetivo Método Principais resultados Limitações do estudo
Remor E, Milner-Moskovics J, Preussler G., 200728 Traduzir, adaptar e validar o questionário para seu uso no Brasil: Cuestionario para la Evaluación de la Adhesión al Tratamiento Antiretroviral (CEAT-VIH)”. Trata-se de um instrumento autoaplicável para a identificação do grau de adesão ao tratamento antirretroviral em pacientes com infecção pelo HIV. Estudo metodológico subsidiado em um questionário traduzido do original em espanhol ao português, processo de retradução (espanhol/português/espanhol), com avaliação verbal da compreensão com um pequeno grupo de pacientes. A análise das propriedades psicométricas envolveu 59 pacientes em tratamento antirretroviral de Porto Alegre/ Rio Grande do Sul, Brasil. A consistência interna e a, validez relacionada a um critério externo, sensibilidade e especificidade subsidiaram a validação. A versão final do CEAT-VIH (20 perguntas), a pontuação total é obtida pela soma de todos os itens (valor mínimo possível 17, valor máximo possível 89).

  • Foi observada uma adequada confiabilidade do questionário (α = 0,64) e validade relacionada a um critério externo (carga viral; r = -0,48; p < 0,001). Também, se observou adequada sensibilidade (79,2%) e especificidade (57,1%) do questionário para a detecção entre indivíduos com carga viral indetectável e detectável.

  • O ponto de corte ótimo sugerido pela análise é de ≥ 76.

  • Valores abaixo indicam insuficiente adesão ao tratamento e associação a uma carga viral detectável. A esta pontuação se associa uma sensibilidade de 79,2% e especificidade de 57,1%.

  1. Não é apresentado o cálculo para o tamanho amostral.

  2. Estudo em apenas uma única instituição dificultando a generalização; portanto, não é um estudo representativo Nacional.

  3. O ponto de corte estabelecido deve ser utilizado com cautela pelo fato de o questionário ser um instrumento autoaplicável.

  4. Efeito Hawthorne.
Costa LS, Latorre M do RD de O, Silva MH da, Bertolini DV, Machado DM, Pimentel SR, et al., 200829 Validar uma escala de autoeficácia para adesão ao tratamento antirretroviral em crianças e adolescentes com HIV/Aids, levando em consideração a perspectiva dos pais/responsáveis, e avaliar a sua reprodutibilidade.

  • Estudo metodológico realizado no Hospital-Dia do Centro de Referência e Treinamento em DST/Aids de São Paulo. Foram entrevistados os pais/responsáveis de 54 crianças e adolescentes de 6 meses a 20 anos que passaram em consulta de rotina pelo serviço.

  • Os dados de autoeficácia da adesão à prescrição antirretroviral, foi calculada de duas maneiras: análise fatorial e fórmula já definida. A consistência interna da escala foi verificada pelo coeficiente α de Cronbach. A validade foi avaliada pela comparação das médias dos escores entre grupos de pacientes aderentes e não aderentes ao tratamento antirretroviral (teste de Mann-Whitney) e cálculo do coeficiente de correlação de Spearman entre os escores e parâmetros clínicos. A reprodutibilidade foi verificada por meio do teste de Wilcoxon, pelo coeficiente de correlação intraclasse e através dos Plots de Bland-Altman.

  • A escala de autoeficácia é constituída de 21 questões. Apresentou boa consistência interna (α = 0,87) e boa reprodutibilidade (CCI = 0,69 e CCI = 0,75).

  • Quanto à validade, a escala de autoeficácia para seguir prescrição antirretroviral conseguiu discriminar pacientes com adesão e com adesão insuficiente ao tratamento antirretroviral (p = 0,002) e apresentou correlação significativa com a contagem de CD4 (r = 0,28; p = 0,04).

  • Adicionam-se aos resultados que as crianças/adolescentes com adesão ao tratamento antirretroviral têm maior expectativa de autoeficácia do que aqueles com adesão insuficiente.

  • A escala de autoeficácia para seguir prescrição antirretroviral pode ser utilizada para avaliar a adesão à terapia antirretroviral em crianças e adolescentes com HIV/Aids, levando em consideração a perspectiva dos pais/cuidadores.

  1. Não é um estudo representativo Nacional.

  2. Foram os pais/cuidadores que responderam pelas crianças/adolescentes. Não foi considerada a percepção da população alvo do estudo.

  3. Efeito Hawthorne.
Vale FC, Santa-Helena ET de, Santos MA, Carvalho WM do ES, Menezes PR, Basso CR, et al., 201830 Apresentar o desenvolvimento e a validação do Questionário WebAd-Q, um instrumento de autorrelato para monitorar a adesão à terapia antirretroviral em serviços de HIV/Aids no Brasil.

  • Estudo metodológico. O O WebAd-Q é um questionário eletrônico que contém três perguntas sobre a tomada dos antirretrovirais na última semana. Foi construído a partir de entrevistas e grupos focais com 38 pacientes. Sua validade foi verificada em estudo com uma amostra de 90 pacientes maiores de 18 anos, sob terapia antirretroviral há pelo menos três meses. Foram utilizadas as seguintes medidas de adesão comparativas: monitoramento eletrônico, contagem de pílulas e entrevista de autorrelato.

  • O WebAd-Q foi respondido no sexagésimo dia por duas vezes, com intervalo mínimo de uma hora.

  • A carga viral dos pacientes foi obtida nos registros do serviço. Foi analisada a concordância entre as respostas ao WebAd-Q, associações e correlações com a carga viral e o desempenho em comparação às demais medidas de adesão.

  • Entre os pacientes convidados, 74 (82,2%) responderam ao WebAd-Q. Não foram relatadas dificuldades em responder ao questionário. O tempo médio de resposta foi de 5 min 47 seg. O conjunto das três questões do WebAd-Q obteve concordância de 89,8%, com Kappa de 0,77 (IC95% 0,61–0,94). As respostas de adesão insuficiente do WebAd-Q associaram-se à carga viral detectável. Foram obtidas correlações moderadas da carga viral com escala de adesão insuficiente segundo o WebAd-Q. Para as três perguntas do WebAd-Q, pacientes com respostas de adesão insuficiente foram também apontados como menos aderentes segundo as demais medidas de adesão.

  • O WebAd-Q atendeu aos principais requesitos de validação de questionários, apresentou elevada compreensão dos participantes e, associação com a carga viral, bem como obteve concordância e bom desempenho em comparação a medidas concorrentes.

  1. Não é um estudo representativo Nacional.

  2. Perda amostral que pode ter reduzido o poder estatístico do estudo.

  3. Efeito Hawthorne.
Open in a new tab

Em síntese, todos os estudos incluídos nesta revisão validaram seus instrumentos, indicando valores estatisticamente aceitáveis no que tange às qualidades psicométricas de cada instrumento. O principal viés/limitação observado foi a especificidade da amostra, ou seja, sugerem cautela no uso dos instrumentos ao verificar a adesão à terapia por pessoas de outras regiões do Brasil.

DISCUSSÃO

Realizar o mapeamento dos instrumentos de medida da adesão à terapia antirretroviral por pessoas vivendo com HIV, validados no Brasil, norteou esta revisão de escopo. Até onde sabemos, este é o primeiro estudo que reuniu as estratégias passíveis de utilização no Brasil. A identificação desses instrumentos é o principal achado do nosso estudo, que poderá orientar a produção de conhecimento relevante para o planejamento e gestão do serviço de saúde. Esta revisão avança ainda no campo da adesão à TARV ao analisar e compilar os instrumentos, que a partir dos resultados obtidos, podem ser interpretados de forma precisa e segura, a luz do rigor psicométrico de cada proposta.

Considerando o impacto positivo na qualidade de vida das pessoas vivendo com HIV que apresentam adequada adesão à terapia antirretroviral, bem como os prejuízos da irregularidade ou descontinuação do tratamento, é importante destacar que a adesão é um processo colaborativo vinculado ao princípio da autonomia que implica na participação ativa do paciente no cuidado com sua saúde. Essa cooperação entre a pessoa vivendo com HIV e a equipe multiprofissional promove a aceitação e a incorporação do esquema terapêutico no cotidiano de seu tratamento31.

Em estudos envolvendo a saúde pública no Brasil, os instrumentos apresentados nesta revisão28podem melhorar a compreensão da prevalência, incidência e fatores de risco para a adesão insuficiente à TARV, bem como proposição de estratégias para melhorar à adesão medicamentosa. Além disso, a utilização de instrumentos validados contribuirá para intervenções de profissionais da saúde no cuidado e melhores resultados sobre o bem-estar geral das pessoas vivendo com HIV. As perguntas dos instrumentos incluídos em nossa revisão contemplam os cinco determinantes que atuam negativa ou positivamente na adesão a tratamentos de longa duração estabelecidos pela Organização Mundial da Saúde: fatores sociais e econômicos, relacionados ao sistema/equipe de saúde, ao tratamento, à doença, e ao paciente13.

O “Cuestionario para la Evaluación de la Adhesión al Tratamiento Antirretroviral” (CEAT-VIH), construído em 200232, é um instrumento simplificado que contempla 20 perguntas e aplicável a pessoas adultas vivendo com o HIV. Além de sua validação no Brasil28, o CEAT-VIH foi validado no Canadá33, Portugal34 e Peru35, indicando sua utilidade e validade para avaliar a adesão à terapia antirretroviral em diferentes contextos. No estudo de validação no Brasil, foi observado uma associação significativa e positiva entre o número de comprimidos e a carga viral (r = 0,32; p = 0,01), indicando que a quantidade de comprimidos da terapia pode ser um aspecto dificultador para a adesão ao tratamento. A administração de um número ≤ 10 comprimidos está associada à melhor adesão. Observou-se ainda associação inversa significativa entre o grau de adesão à terapia antirretroviral e a carga viral, (r = -0,48; p = 0,000). O ponto de corte ótimo sugerido pela análise é de ≥ 76. Valores abaixo indicam adesão insuficiente ao tratamento e associação a uma carga viral detectável. A carga viral é o indicador clínico mais adotado em estudos que avaliam a precisão de instrumentos para avaliar a adesão à TARV, indicando a relevância da adesão medicamentosa para um melhor prognóstico de recuperação da doença17,36. A maioria dos itens do CEAT-VIH cumpriu os critérios de qualidade esperados e não houve valores perdidos, o que indica que todas as perguntas foram compreendidas pelos pacientes e puderam ser respondidas.

Alguns estudos nacionais utilizaram o CEAT-VIH, como o desenvolvido na cidade de Fortaleza (CE)37, outro na região centro-oeste do estado do Rio Grande do Sul38, e em cinco serviços de assistência especializada no estado de Pernambuco39. Nesses diferentes contextos, observou-se baixa adesão à terapia antirretroviral. Uma realidade que legitima o uso do CEAT-VIH enquanto ferramenta a ser utilizada pelos profissionais da saúde no planejamento do cuidado e intervenção nas situações que interferem na adesão.

Até o presente momento, o estudo de validação e reprodutibilidade de uma escala de autoeficácia para adesão à TARV em pais ou cuidadores de crianças e adolescentes vivendo com HIV/Aids é o primeiro no contexto brasileiro. A boa consistência interna da escala na amostra total de crianças e adolescentes (α = 0,87) evidenciou alta associação entre os itens da escala, sugerindo que ela é confiável para medir autoeficácia em crianças e adolescentes com HIV/Aids, considerando a perspectiva dos pais/cuidadores. Também foi observado que as crianças/adolescentes aderentes à terapia antirretroviral têm maior expectativa de autoeficácia do que aqueles com adesão insuficiente, indicando que uma maior autoeficácia está associada a melhores respostas dos linfócitos TCD 4+ (r = 0,28; p = 0,040). É sugerido no artigo de validação que na rotina clínica seja utilizado o escore 2 de autoeficácia, pois é calculado por uma fórmula pré-definida e facilmente aplicável. Já o escore 1 – também apresentado no artigo – é um escore composto pelas questões que mais se correlacionaram com as perguntas da própria escala, sendo necessário que o pesquisador tenha familiaridade com análise fatorial, além do uso de um pacote estatístico.

Alguns estudos nacionais utilizaram o escore 2 da escala de autoeficácia para avaliar a adesão de crianças e adolescentes à terapia antirretroviral, dentre eles um estudo realizado em Brasilia-DF40e outro na cidade de São Paulo41. No estudo publicado em 201040, observaram-se dificuldades relacionadas com a ingestão de medicamentos fora do ambiente doméstico, a perda de doses, e com atrasos na ingestão do medicamento. Já no estudo publicado em 201241, foi identificada alta taxa de adesão à TARV, independentemente do perfil sociodemográfico dos pais/cuidadores. A escala de autoeficácia para avaliar a adesão de crianças e adolescentes à terapia medicamentosa é constituída por 21 questões. Essa abrangência de informações possibilita um detalhamento maior dos aspectos dificultadores para a não adesão, bem como aqueles que facilitam a adesão terapêutica.

O instrumento WebAd-Q é um questionário autoaplicável desenvolvido em serviços de atenção à pessoa vivendo com HIV. No estudo de desenvolvimento e validação30 foi observado alto nível de concordância teste-reteste e boa concordância entre as respostas e outros indicadores de adesão. Em semelhança aos dois outros instrumentos incluídos nesta revisão de escopo28,29, a escala de adesão insuficiente obtida pelo WebAd-Q apresentou associação moderada quando comparada ao desfecho clínico (carga viral), ou seja, quanto menor a adesão à terapia antirretroviral, maior a carga viral verificada. O WebAd-Q contempla apenas a dimensão paciente dentro dos cinco determinantes associados à adesão a tratamentos de longa duração estabelecidos pela Organização Mundial da Saúde13. Ele avalia a tomada de todos os medicamentos nos horários e doses prescritas durante a última semana, com boa fidedignidade.

O WebAd-Q foi utilizado para avaliar a adesão à TARV em um Survey de amostra não representativa, realizado nas cinco regiões do Brasil42. Foi observada alta proporção de não adesão à terapia antirretroviral. Os autores mencionam que o WebAd-Q é um instrumento de rápida aplicação, o que favorece na rotina de atendimento à pessoa vivendo como HIV, possibilitando a identificação de lacunas no fornecimento de aconselhamento e orientação sobre a terapia e permite, ainda, o desenvolvimento de estratégias inovadoras para prevenir a não adesão.

Destacamos os seguintes pontos fortes dos três estudos incluídos nesta revisão de escopo: (1) os instrumentos de medida envolvem perguntas simplificadas e objetivas, contribuindo para sua compreensão e facilitação da resposta; (2) Valores adequados do processo de validação da análise psicométrica, garantindo, assim, instrumentos validos e precisos para avaliarem a adesão de pessoas vivendo com HIV à terapia antirretroviral no Brasil; e (3) Capacidade de diagnóstico situacional referente à adesão terapêutica; os instrumentos possibilitam o monitoramento contínuo, contribuindo para a tomada de decisão junto com o paciente em prol da sua efetiva adesão à TARV.

Contudo os instrumentos apresentam também algumas fragilidades. No caso do CEAT-VIH28, o viés do tamanho amostral se apresenta como seu ponto fraco. Neste trabalho, não foi possível identificar se o tamanho amostral considerado é o ideal para estudos que envolvem validação de instrumentos. É importante lembrar que o ponto de corte estabelecido deve ser utilizado com cautela, devido ao fato de o questionário ser um instrumento autoaplicável. A proposta de validação e reprodutibilidade de uma escala de autoeficácia para adesão de crianças e adolescentes à TARV29 considerou as respostas de pais ou cuidadores, e não a percepção da população alvo do estudo. Contudo, esse é até o momento o único instrumento validado no Brasil que avalia a adesão de crianças e adolescentes à terapia antirretroviral.

O instrumento WebAd-Q30, diferente dos outros dois estudos incluídos, considera apenas o determinante associado à adesão relacionado ao paciente. Por fim, por serem instrumentos autoaplicáveis, pode haver o efeito Hawthorne, ou seja, os respondentes podem ser influenciados em suas respostas ao considerar a presença e/ou possível “julgamento” do profissional que receberá as respostas referentes à adesão à TARV. Salienta-se o fato de os estudos serem validados em pessoas vivendo com HIV do Brasil, contudo, a abrangência no uso dos questionários deve ser compreendida com cautela, pois os instrumentos foram validados considerando a realidade de uma região ou serviço específico da nação. Nesse sentido, é necessário verificar a viabilidade no uso dos instrumentos no escopo de um estudo nacional, buscando refletir a heterogeneidade, tanto das pessoas em tratamento no país quanto das características dos serviços que as assistem.

Mesmo diante das limitações intrínsecas desta revisão, especialmente, considerando o elevado volume de trabalhos que utilizaram diferentes instrumentos de medida da adesão de pacientes à terapia antirretroviral no Brasil, apenas três foram validados a partir de análises psicométricas para o contexto nacional. Assim, a quantidade e as especificidades metodológicas de cada estudo identificado inviabilizam a comparação das realidades e contextos em que os instrumentos foram validados. Todavia, reforça a necessidade de investimentos adicionais; ou seja, na (re)utilização em diferentes cenários. Além disso, acreditamos que os resultados deste trabalho expressam um retrato da literatura científica nesse tempo e espaço, considerando a consulta às seis principais bases de dados para a compilação dos instrumentos de medida da adesão à TARV, validados no Brasil. Por segurança, foram incluídas as pesquisas nos servidores Preprints e na literatura cinza.

Destacamos que esta revisão de escopo foi capaz de reunir e apresentar, de forma simplificada e acessível, quais são os instrumentos validados no Brasil que avaliam a adesão de pessoas vivendo com HIV à terapia antirretroviral. Os estudos incluídos nesta revisão possibilitam a avaliação da adesão de crianças, adolescentes e adultos vivendo com HIV. Nesse sentido, os profissionais da saúde que atuam no cuidado a essas pessoas podem identificar e monitorar frequentemente a sua adesão e propor estratégias específicas para cada pessoa, no intuito de consolidar a boa adesão e intervir no tratamento daqueles não engajados à terapia. Em síntese, a utilização de instrumentos validados para medir a adesão a tratamentos de longa duração pode subsidiar a ação de medidas públicas, bem como, determinar a influência ou não dos determinantes que atuam negativamente na adesão, conforme estabelecido pela Organização Mundial da Saúde.

CONCLUSÃO

Os instrumentos para avaliar a adesão de pessoas vivendo com HIV à terapia antirretroviral incluídos nesta revisão de escopo são estratégias validadas para o contexto brasileiro. Todavia há que se expandir a (re)utilização em diferentes cenários e contextos da nação. A utilização desses instrumentos por profissionais da saúde, pode melhorar a compreensão dos fatores que atuam negativa ou positivamente na adesão à TARV, e a proposição de estratégias com o objetivo de consolidar a boa adesão e intervir no tratamento de pacientes com baixo engajamento terapêutico. Ressalta-se a necessidade de estudos posteriores para o desenvolvimento de um instrumento para uso nacional, que tenha seu processo de validação em mais cidades e regiões do Brasil.

Footnotes

Financiamento: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (Capes - Código de Financiamento 001). Programa Nacional de Pós-doutorado (Processo 88882.317622/2019-01).

Articles from Revista de Saúde Pública are provided here courtesy of Universidade de São Paulo. Faculdade de Saúde Pública.

RESOURCES