Skip to main content
NCBI home page
Einstein logoLink to Einstein
. 2021 Mar 9;19:eAO6002. doi: 10.31744/einstein_journal/2021AO6002
View full-text in Portuguese

COVID-19 meta-analyses: a scoping review and quality assessment

Gabriel Natan Pires 1,✉, Andréia Gomes Bezerra 1, Thainá Baenninger de Oliveira 2, Samuel Fen I Chen 2, Victor Davis Apostolakis Malfatti 2, Victoria Feiner Ferreira de Mello 2, Alyne Niyama 2, Vitor Luiz Selva Pinto 2, Monica Levy Andersen 1, Sergio Tufik 1
PMCID: PMC7942841  PMID: 33729287

ABSTRACT

Objective:

To carry out a scoping review of the meta-analyses published regarding about coronavirus disease 2019 (COVID-19), evaluating their main characteristics, publication trends and methodological quality.

Methods:

A bibliometric search was performed in PubMed®, Scopus and Web of Science, focusing on meta-analyses about COVID-2019 disease. Bibliometric and descriptive data for the included articles were extracted and the methodological quality of the included meta-analyses was evaluated using A Measurement Tool to Assess Systematic Reviews.

Results:

A total of 348 meta-analyses were considered eligible. The first meta-analysis about COVID-19 disease was published on February 26, 2020, and the number of meta-analyses has grown rapidly since then. Most of them were published in infectious disease and virology journals. The greatest number come from China, followed by the United States, Italy and the United Kingdom. On average, these meta-analyses included 23 studies and 15,200 participants. Overall quality was remarkably low, and only 8.9% of them could be considered as of high confidence level.

Conclusion:

Although well-designed meta-analyses about COVID-19 disease have already been published, the majority are of low quality. Thus, all stakeholders playing a role in COVID-19 deseases, including policy makers, researchers, publishers and journals, should prioritize well-designed meta-analyses, performed only when the background information seem suitable, and discouraging those of low quality or that use suboptimal methods.

Keywords: Bibliometrics, Coronavirus, COVID-19, Meta-analysis, Betacoronavirus, SARS-CoV-2, Scientometrics, Systematic review

INTRODUCTION

Since coronavirus disease 2019 (COVID-19) was recognized as a serious public health threat, researchers from all over the world have devoted a great deal of time and effort to characterize and understand this new disease, resulting in an unprecedented surge in the number of publications.(1–3) On average, more than 200 new articles about COVID-19 have been indexed in PubMed®, every day.(4)

All stakeholders involved in academic research and scientific publishing have directed efforts to enable an efficient publication outflow: governments and supporting agencies are releasing special funding and grants for research about COVID-19; ethics committees and other regulatory agencies are prioritizing COVID-19-related projects;(5) publishers are applying open access policies to COVID-19 articles; and journals are reviewing COVID-19 articles using fast-track processes.(6,7)

All these efforts have the ultimate goal of enhancing knowledge and generating evidence about COVID-19. From an evidence-based perspective, meta-analyses are usually regarded as the experimental approach that generates the highest level of scientific evidence. Thus, not surprisingly, meta-analyses regarding COVID-19 are already being published. Prompted by this remarkable and constant growth in publication output, a discussion in respect of the quality and ethical standards of these articles has already begun.(6,8–10)

Both the need to release and publish data rapidly, and the shortened peer-review times, can result in a reduction in the quality of the published reports. Since meta-analyses are also subjected to same publication environment, this reduction in quality might also be true for them. In order to quantify the problem and foresee potential drawbacks in the evidence synthesis of COVID-19 research, it is important to quantify the amount of meta-analyses being published, their characteristics, their methods and the average quality of these reports.

OBJECTIVE

To carry out a scoping review of the meta-analyses published regarding coronavirus disease 2019, evaluating their main characteristics, publication trends and methodological quality.

METHODS

A bibliometric search was performed in PubMed®, Scopus and Web of Science, to retrieve all meta-analyses published relating to COVID-19. The search strategy, which was initially designed for PubMed® and adapted to other databases, is described below. It was performed on August 18, 2020 and no publication filters were used. The protocol used was registered in the Open Science Framework (https://osf.io/tnps2/).

Search was performed using the following terms: (meta-analysis [publication type] OR meta-analysis as topic [mesh] OR meta-analysis [tiab] OR meta-analyses [tiab] OR meta-analysis [tiab] OR metaanalyses [tiab] OR meta-analysis [tiab] OR metanalyses [tiab]) AND (covid-19 [supplementary concept] OR covid-19 OR covid19 OR “novel coronavirus” OR “sars-cov-2” OR “2019-ncov”).

The resulting articles were screened and evaluated in a two-step process. In the first, titles and abstracts were reviewed by two independent authors. Discrepancies were resolved by consensus. Next, the full texts of the articles selected in the first step were evaluated by a single author per article and double-checked by a second reviewer. Only meta-analyses dealing with COVID-19-related issues were considered eligible. Regarding the PI(E)CO strategy, COVID-19 could be addressed as an intervention (I), exposure (E) or outcome (O), while there was no restriction regarding the population (P) or comparators (C). Six main exclusion criteria were applied: articles published before 2019; protocols of systematic reviews and meta-analyses; research designs other than meta-analyses (systematic reviews with no meta-analyses were excluded); meta-analyses not related to COVID-19; meta-analyses for which data came from sources other than previously published articles (e.g., meta-analyses of geographical or meteorological data), and articles for which the full text could not be found. Meta-analyses in which COVID-19 data were considered concurrently with other diseases, such as the severe acute respiratory syndrome (SARS) or the Middle East respiratory syndrome (MERS), were also considered eligible.

Data extraction was performed by a single author per article. The following data was extracted: bibliometric information (author, publication year, publication date, journal and country – based on the first affiliation of the first author), number of articles and individuals included in the meta-analyses, pre-publication registration (e.g., International Prospective Register of Systematic Reviews – PROSPERO), databases screened and research designs considered eligible (only randomized controlled trials (RCT), only non-randomized designs or both). The articles were classified into the same 13 categories used by PROSPERO to categorize COVID-19-related protocols of systematic reviews. Finally, the methodological quality of the included meta-analyses was evaluated using A Measurement Tool to Assess Systematic Reviews (AMSTAR 2.0).(11)All authors applying tool had undergone training with a senior reviewer, and the evaluation criteria of each item were discussed and standardized in a meeting. To assure consistency and accuracy in data abstraction, two rounds of calibration were performed: in the first, all the authors involved in data extraction analyzed a set of ten articles from the sample. In the second round, a sample of 130 articles were evaluated by pairs of reviewers. Reviewers could start data extraction and quality assessment independently, only when consistency was assured.

All data were analyzed qualitatively, presented in a descriptive fashion when needed (percentages and absolute frequency for categorical data, and mean and standard deviation for numeric variables). This scoping review was performed in accordance with the Preferred Reporting Items for Systematic Reviews andMeta-Analyses Extension for Scoping Reviews (PRISMA-ScR) guidelines.(12)

The assignment of authors to each step in this systematic review is disclosed in the registered protocol (https://osf.io/tnps2/).

RESULTS

Out of 1,296 meta-analyses, 348 were considered eligible (Figure 1). The first article in this sample was indexed on February 26, 2020.(13) In this short period since the publication of this article (176 days until August 18), an average of 1.95 meta-analyses were published per day. This number has been increasing, as shown in figure 2. Among these articles, 336 (96.5%) focused only on COVID-19, while 12 (3.4%) merged COVID-19 data with data for other diseases (SARS: 12; MERS: 11; Ebola and influenza: 1). The meta-analyses included an average of 22.94±21.49 studies (median: 16) and 15,250.57±46,876.16 participants (median: 4,121).

Figure 1. Flowchart of article identification and inclusion.

Figure 1

Open in a new tab

Figure 2. Temporal analysis of publication output. Number of meta-analyses published per month is shown since the publication of the first meta-analysis (February 26). Articles whose publication date could not be determined, or that are scheduled for September 2020 onwards are not counted (n=329). Data from August should not be interpreted as a reduction in the number of meta-analyses published, as the search strategy was made on August 18, 2020.

Figure 2

Open in a new tab

The studies were published in 193 different journals. The Journal of Medical Virology contributed the most, publishing 35 meta-analyses on COVID-19 (9.1%), followed by the Journal of Infection, with 19 articles (4.9%). Eight journals published between six and nine meta-analyses each, 39 published between two and four meta-analyses each, and the remaining 144 journals published a single meta-analysis each. Most meta-analyses were published in infectious disease or virology journals (78 articles in 15 journals), followed by clinical/internal/general medicine (38 articles in 19 journals), cardiology and vascular medicine (24 articles in 20 journals) and gastroenterology (19 articles in 14 journals) (Figures 3A and 3B).

Figure 3. Publication output per subject area and country. (A) Number of articles on each subject area; (B) Number of journals in each subject area; (C) Number of articles per country. The time since the first local case of COVID-19, the ability to include studies published in local languages, and the recent surge in the publication of meta-analyses in general may have contributed to China being ranked as producer of the largest number of analyses, with an output double that of the United States.

Figure 3

Open in a new tab

A total of 37 countries were listed in the publication output (Figure 3C). China was the most productive country, with 117 articles (33.6%), followed by the United States with 54 articles (15.1%), and Italy and the United Kingdom, with 22 articles each (12.6%).

Only 58 meta-analyses (16.7%) registered a protocol, being PROSPERO the most commonly used protocol registry. Six meta-analyses (1.6%) included only RCT, while the remaining were based on observational studies, or on a combination of multiple research designs.

Regarding the search strategies of the meta-analyses, 107 of them (30.7%) screened five or more databases; while 23 (6.6%) screened a single database, a non-recommended practice due to the increased risk of selection bias. PubMed® and MEDLINE® were the most frequently employed database (342 articles; 98.3%), followed by Embase (204 articles; 58.6%), Web of Science (130 articles; 37.4%), Cochrane Central (129 articles; 37.1%), and Scopus (94 articles; 27.0%). Pre-print sources, such as medRxiv and bioRxiv, were used in 74 articles (21.3%). Regional databases from China were used in 74 articles (21.3%).

The most common focuses of the included meta-analyses were disease prognosis (200 articles; 57.5%), epidemiology (130 articles; 37.4%), diagnosis (48 articles; 13.8%), health impacts (43 articles; 12.4%) and treatments (42 articles; 12.1%).

Quality assessment using AMSTAR 2.0 revealed that only 31 of the meta-analyses (8.9%) were of a quality that allowed a high overall confidence in the results of the review, while 186 (53.4%) were of a critically low level. Quality analyses according to each item in AMSTAR 2.0 are shown in figure 4.

Figure 4. Quality assessment of meta-analyses about COVID-19 using A Measurement Tool to Assess Systematic Reviews. (A) Number of meta-analyses according to different levels of confidence; (B) Evaluation of each criterion included in A Measurement Tool to Assess Systematic Reviews. Green means that an item was adequately addressed; yellow means it was partially addressed, and red means it was not addressed.

Figure 4

Open in a new tab

DISCUSSION

Meta-analyses are regarded as the highest level of evidence. Therefore, healthcare decision makers frequently rely on them for evidence-based guidance.(14) In the current pandemic situation, healthcare practices and policies need to be developed in a rapid fashion, making meta-analyses an important source of evidence. However, it must be kept in mind that the quality of the meta-analyses does not rely solely on the methodology used, but also on the number and quality of the articles included. Thus, the main question to answer is: do we have enough high-quality studies to perform meta-analyses about COVID-19?.

The building blocks of meta-analyses are the studies they include. The reasonability about performing a meta-analyses depends on the number of articles being analyzed, and the robustness of its results depends on the quality of the articles included (according to the concept of “garbage in, garbage out”). Appropriate statistical methods need to be employed in meta-analyses. Indeed, increasing the amount of low-bias meta-analyses (i.e. those with reliable methods and robust methodology) might increase the proportion of reliable scientific findings overall.(15) Although the total number of articles about COVID-19 is considerable, questions have been raised about the overall quality of the studies,(6,8–10) and in respect of meta-analyses, some cases of methodologically flawed studies have already been reported.(16,17)

The meta-analyses included in this study comprise a fair amount of data, with an average of 23 studies and 15,000 participants per article. This is a surprising finding, since we would expect the meta-analyses published to be much smaller, given that they were published a short time after the start of the pandemic. It probably reflects the fact that epidemiological studies on COVID-19, with very large cohorts, were published relatively soon after the initial outbreak. However, although there does not seem to be lack of data, the quality of these meta-analyses is remarkably low, with only 31 (8.9%) considered to be of high quality.

It should also be noted that no meta-analysis based on RCT only has yet been published. This is explained by several meta-analyses performed on topics that are only solvable by observational studies (such as prevalence of risk factors). However, meta-analyses about themes that depend on properly performed RCT (such as pharmacological interventions and vaccines) do not seem feasible in the short term.

The sources and topics of the meta-analyses also provided interesting results. More than 50% of studies come from only four countries: China, United States, Italy and United Kingdom. Although these countries are among those most affected by COVID-19, it would be misleading to make this correlation, since they were already among the top six meta-analyses producers, even before the pandemic.(18) It is interesting to note that China's production is almost twice that of the United States, probably reflecting the geometric increase in their meta-analyses publication output, as from 2009.(19)

Most of the meta-analyses were published in virology and infectious disease journals, addressing prognostic factors and epidemiology. This is to be expected, given that these were the first topics for which a reasonable amount of data became available. Although PROSPERO has already been registering systematic reviews about treatments and vaccines, meta-analyses on these topics seem rather unfeasible in the short term (and will be less informative if based on the limited number of completed the RCT available).

One positive aspect of the included meta-analyses is the inclusion of pre-print sources (18.0%) and national databases (mostly Chinese; 22.5%). It is estimated that about a quarter of all relevant evidence about COVID-19 is not in PubMed®, but might be available in pre-print sources(20) and not including them represents an obvious publication bias. The same is true in respect of the inclusion of national databases, since a fair amount of data about epidemiology and clinical description are available only in Chinese.

The overall number of meta-analyses being published has increased considerably in recent years,(21) and this mass publication of meta-analyses has been heavily criticized.(22,23) Among the main problems relating to the increased number of meta-analyses being published are duplicated efforts, conflicting results, low quality and limited practical value.(22) While our study focused on an analysis of the quality of the studies, one might expect these same problems are also present in COVID-19-related meta-analyses. One example of conflicting results in meta-analyses about COVID-19 was found in respect of smoking. A meta-analysis published in May 2020 concluded that smoking does not represent a risk factor for severe cases of COVID-19.(24)However, two subsequent meta-analyses highlighted methodological errors in the original analysis, and came to an opposite conclusion.(16,25) Since then, several other systematic reviews have been performed in relation to smoking, including a recent meta-analysis performed using robust methods (a living review with Bayesian meta-analysis, currently in its seventh edition).(26) Its conclusions reinforced the complexity of this association, since they found current smokers are at reduced risk of severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2) infection, but former smokers are at increased risk of severe cases and death from COVID-19. Thus, despite the growing number of meta-analyses about COVID-19 inconsistencies, low quality and methodological weaknesses among them might reduce their potential to generate applicable findings. This is particularly important for policy-makers and health care managers, who might wish to use meta-analyses to drive their practices and policies.

The idea that meta-analyses represent the unequivocal highest level of medical evidence is outdated,(27) and this affirmation can certainly not be applied to all individual meta-analyses. Weak or imprecise meta-analyses actually produce less evidence than, for instance, a well conducted large observational study or a proper multicenter randomized controlled trial. Based on these considerations and the results of our review, we make the following recommendations to different stakeholders about how to deal with meta-analyses regarding COVID-19.

To policy makers: meta-analyses are undeniably important for policy makers, so that they can design and implement policies employing on reliable evidence-based information. However, current meta-analyses about COVID-19 are of limited quality and, in some cases, have discrepant results. Thus, in these times of uncertain evidence, decision-making should not blindly rely on meta-analyses, but rather on a deep analysis of literature and the evidence it contains.

To researchers and authors of meta-analyses: new meta-analyses about COVID-19 are welcome, as long as they provide new high-quality evidence. Low-quality meta-analyses (premature, redundant, dubious, inconclusive, or performed with suboptimal practices) are counterproductive, for impairing proper evidence synthesis. Thus, we suggest that prospective authors of meta-analyses perform a serious critical appraisal about the need for their meta-analyses. The following factors should be evaluated: whether there is enough data to perform a meta-analysis; if the available data seems reliable, comparable and free from heterogeneity; whether other meta-analyses in the same field have already been published or protocols have been registered. Researchers should rely on a search of protocol registrations for systematic reviews and meta-analyses to avoid duplicated and redundant efforts. Quality and methodological robustness should not be overlooked in favor of rapid publication, or it is likely that the quality of the review will be poor (as seen in our results).

To journals and publishers: meta-analyses usually lead to a fair amount of citations and good visibility to journals publishing them.(28) Thus, in the current situation, journals might feel tempted to publish meta-analyses, while ignoring faulty methods and low-quality procedures. Interestingly, as the number of articles about COVID-19 has increased, so has the number of articles being withdrawn and retracted.(29)Journals should comply with their social role of being a media for evidence-based science. Recent discussions have highlighted the role of journals in promoting the publication of high-quality meta-analyses, while discouraging those that do not follow optimal methodological standards.(30) This is especially relevant in the current situation. Peer review can be made faster, as long as its quality and fairness are not compromised. We would suggest that a researcher with experience in meta-analyses is always included as a reviewer, or to have a statistician on the editorial board, to ensure that faulty or low-quality meta-analyses are not published.

A few points need to be considered for a proper interpretation of our study: this is a scoping review, rather than a systematic review. Thus, rather than aiming to perform a meta-analysis ourselves, our review was intended to describe a panorama about the current meta-analyses about COVID-19, focusing on the general framework of the field, instead of on the individual aspects of each study; - we decided to exclude systematic reviews with no meta-analyses. This is because our focus was on evidence synthesis, which is much reduced in reviews not including meta-analyses, and also, in many cases, the term “systematic review” is misused.(31) However, an enormous amount of systematic reviews has been published, whose quality has already been appraised in a previous article.(32) This is a time-restrained review. In the near future, meta-analyses on most aspects of COVID-19 will probably become viable. However, a study focusing attention on the quality of meta-analyses published so far in respect of COVID-19 is timely; and the call to prioritize attention on high-quality meta-analyses is important.

CONCLUSION

Meta-analyses are an important tool in evidence-based medicine. The number of meta-analyses in respect of COVID-19 is increasing and will continue to rise. We believe that meta-analyses will play an important role in COVID-19, defining its epidemiological characteristics, the most suitable treatments, and supporting policy-making. However, while we do support the need for meta-analyses about COVID-19, it should not be taken as a license to produce them indiscriminately.

Although some very well-designed meta-analyses about COVID-19 have already been published, the majority published so far are of poor quality, and are likely to causes more harm than good. Few meta-analysis about COVID-19 in our review could be considered as of high quality, while more than a half were considered of critically low quality. Thus, all stakeholders playing a role in COVID-19 research and publication (including policy makers, researchers, publishers and journals) should focus on proper evidence-based research, supporting well designed meta-analyses, performed only when the background information seems suitable, and discourage those of low quality or that use suboptimal methods.

ACKNOWLEDGMENT

Gabriel Natan Pires is supported by grants and funding from the Associação Fundo de Incentivo à Pesquisa (AFIP). Sergio Tufik and Monica Levy Andersen are supported by grants and funding from AFIP, Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES - Finance Code 001) and the Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Samuel Fen I Chen, Thainá Baenninger de Oliveira and Victor Luiz Selva Pinto are supported by grants from CAPES.

REFERENCES

  • 1.1. Lou J, Tian SJ, Niu SM, Kang XQ, Lian HX, Zhang LX, et al. Coronavirus disease 2019: a bibliometric analysis and review. Eur Rev Med Pharmacol Sci. 2020;24(6):3411-21. [DOI] [PubMed]
  • 2.2. Škorić L, Glasnović A, Petrak J. A publishing pandemic during the COVID-19 pandemic: how challenging can it become? Croat Med J. 2020;61(2):79-81. [DOI] [PMC free article] [PubMed]
  • 3.3. Kambhampati SB, Vaishya R, Vaish A. Unprecedented surge in publications related to COVID-19 in the first three months of pandemic: a bibliometric analytic report. J Clin Orthop Trauma. 2020;11(Suppl 3):S304-6. [DOI] [PMC free article] [PubMed]
  • 4.4. Gale RP. Conquest of COVID-19. Publish it to death? Br J Haematol. 2020; 190(3):358-60. [DOI] [PMC free article] [PubMed]
  • 5.5. Zhang H, Shao F, Gu J, Li L, Wang Y. Ethics Committee Reviews of applications for research studies at 1 hospital in China during the 2019 novel coronavirus epidemic. JAMA. 2020;323(18):1844-6. [DOI] [PMC free article] [PubMed]
  • 6.6. Smith MJ, Upshur RE, Emanuel EJ. Publication ethics during public health emergencies such as the COVID-19 pandemic. Am J Public Health. 2020:e1-e2. doi: 10.2105/AJPH.2020.305686. [Epub ahead of print]. [DOI] [PMC free article] [PubMed]
  • 7.7. Treweek S, Jüni P, Li T, Collin J, Briel M, Chan AW, et al. COVID-19 randomised trial protocols: rapid publication without barriers. Trials. 2020;21(1):327. [DOI] [PMC free article] [PubMed]
  • 8.8. Peyrin-Biroulet L. Will the quality of research remain the same during the COVID-19 pandemic? Clin Gastroenterol Hepatol. 2020;18(9):2142. [DOI] [PMC free article] [PubMed]
  • 9.9. Shah SS, Kulkarni N, Mahant S. Rapid publication, knowledge sharing, and our responsibility during the COVID-19 pandemic. J Hosp Med. 2020;15(5):261. [DOI] [PubMed]
  • 10.10. Alexander PE, Debono VB, Mammen MJ, Iorio A, Aryal K, Deng D, et al. COVID-19 coronavirus research has overall low methodological quality thus far: case in point for chloroquine/hydroxychloroquine. J Clin Epidemiol. 2020;123:120-6. Review. [DOI] [PMC free article] [PubMed]
  • 11.11. Shea BJ, Reeves BC, Wells G, Thuku M, Hamel C, Moran J, et al. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ. 2017;358:j4008. [DOI] [PMC free article] [PubMed]
  • 12.12. Tricco AC, Lillie E, Zarin W, O’Brien KK, Colquhoun H, Levac D, et al. PRISMA Extension for Scoping Reviews (PRISMA-ScR): Checklist and explanation. Ann Intern Med. 2018;169(7):467-73. [DOI] [PubMed]
  • 13.13. Sun P, Qie S, Liu Z, Ren J, Li K, Xi J. Clinical characteristics of hospitalized patients with SARS-CoV-2 infection: a single arm meta-analysis. J Med Virol. 2020;92(6):612-7. [DOI] [PMC free article] [PubMed]
  • 14.14. Mulrow CD. Rationale for systematic reviews. BMJ. 1994;309(6954):597-9. [DOI] [PMC free article] [PubMed]
  • 15.15. Ioannidis JP. Why most published research findings are false. PLoS Med. 2005;2(8):e124. [DOI] [PMC free article] [PubMed]
  • 16.16. Guo FR. A flaw on a meta-analysis of smoking and the severity of COVID-19: the association should have been endorsed. J Public Health (Oxf). 2020; 42(3):653-4. [DOI] [PMC free article] [PubMed]
  • 17.17. Santamaría-Gadea A, de Los Santos G, Alobid I, Mullol J, Mariño-Sánchez F. Errors and biases in meta-analysis of the prevalence of olfactory dysfunction in patients with COVID-19. Otolaryngol Head Neck Surg. 2021;164(2):455-6. [DOI] [PubMed]
  • 18.18. Fontelo P, Liu F. A review of recent publication trends from top publishing countries. Syst Rev. 2018;7(1):147. Review. [DOI] [PMC free article] [PubMed]
  • 19.19. Ioannidis JP, Chang CQ, Lam TK, Schully SD, Khoury MJ. The geometric increase in meta-analyses from China in the genomic era. PLoS One. 2013; 8(6):e65602. [DOI] [PMC free article] [PubMed]
  • 20.20. Shokraneh F, Russell-Rose T. Lessons from COVID-19 to future evidence synthesis efforts: first living search strategy and out of date scientific publishing and indexing industry (submitted). J Clin Epidemiol. 2020;123:171-3. [DOI] [PMC free article] [PubMed]
  • 21.21. Gurevitch J, Koricheva J, Nakagawa S, Stewart G. Meta-analysis and the science of research synthesis. Nature. 2018;555(7695):175-82. Review. [DOI] [PubMed]
  • 22.22. Ioannidis JP. The mass production of redundant, misleading, and conflicted systematic reviews and meta-analyses. Milbank Q. 2016;94(3):485-514. [DOI] [PMC free article] [PubMed]
  • 23.23. Chevret S, Ferguson ND, Bellomo R. Are systematic reviews and meta-analyses still useful research? No. Intensive Care Med. 2018;44(4):515-7. [DOI] [PubMed]
  • 24.24. Lippi G, Henry BM. Active smoking is not associated with severity of coronavirus disease 2019 (COVID-19). Eur J Intern Med. 2020;75:107-8. [DOI] [PMC free article] [PubMed]
  • 25.25. Guo FR. Active smoking is associated with severity of coronavirus disease 2019 (COVID-19): an update of a meta-analysis. Tob Induc Dis. 2020;18:37. [DOI] [PMC free article] [PubMed]
  • 26.26. Simons D, Shahab L, Brown J, Perski O. The association of smoking status with SARS-CoV-2 infection, hospitalization and mortality from COVID-19: a living rapid evidence review with Bayesian meta-analyses (version 7). Addiction. 2020 Oct 2:10.1111/add.15276. Review. [DOI] [PMC free article] [PubMed]
  • 27.27. Murad MH, Asi N, Alsawas M, Alahdab F. New evidence pyramid. Evid Based Med. 2016;21(4):125-7. [DOI] [PMC free article] [PubMed]
  • 28.28. Patsopoulos NA, Analatos AA, Ioannidis JP. Relative citation impact of various study designs in the health sciences. JAMA. 2005;293(19):2362-6. [DOI] [PubMed]
  • 29.29. Agoramoorthy G, Hsu MJ, Shieh P. Queries on the COVID-19 quick publishing ethics. Bioethics. 2020;34(6):633-4. [DOI] [PMC free article] [PubMed]
  • 30.30. Annane D, Jaeschke R, Guyatt G. Are systematic reviews and meta-analyses still useful research? Yes. Intensive Care Med. 2018;44(4):512-4. [DOI] [PubMed]
  • 31.31. Paul M, Leibovici L. Systematic review or meta-analysis? Their place in the evidence hierarchy. Clin Microbiol Infect. 2014;20(2):97-100. Review. [DOI] [PubMed]
  • 32.32. Pericàs JM, Torrallardona-Murphy O, Arenas A, Valero H, Nicolás D. Profile and quality of published reviews on COVID-19. Eur J Clin Invest. 2020 May 30:e13293. doi: 10.1111/eci.13293. [Epub ahead of print]. [DOI] [PMC free article] [PubMed]
Einstein (Sao Paulo). 2021 Mar 9;19:eAO6002. [Article in Portuguese]

Metanálises sobre COVID-19: revisão de escopo e análise de qualidade

Gabriel Natan Pires 1,✉, Andréia Gomes Bezerra 1, Thainá Baenninger de Oliveira 2, Samuel Fen I Chen 2, Victor Davis Apostolakis Malfatti 2, Victoria Feiner Ferreira de Mello 2, Alyne Niyama 2, Vitor Luiz Selva Pinto 2, Monica Levy Andersen 1, Sergio Tufik 1

RESUMO

Objetivo:

Realizar uma revisão de escopo das metanálises publicadas sobre a doença pelo coronavírus 2019 (COVID-19), avaliando suas principais características, tendências de publicação e qualidade metodológica.

Métodos:

Uma busca bibliométrica foi realizada em PubMed®, Scopus e Web of Science, com foco em metanálises sobre a doença pelo COVID-19. Foram extraídos dados bibliométricos e descritivos dos artigos incluídos, e a qualidade metodológica foi avaliada usando a ferramenta A Measurement Tool to Assess Systematic Reviews.

Resultados:

Um total de 348 metanálises foram consideradas elegíveis. A primeira delas foi publicada em 26 de fevereiro de 2020, e, desde então, o número dessas publicações cresceu rapidamente. A maioria foi publicada em periódicos de infectologia e virologia. Grande parte é proveniente da China, seguida dos Estados Unidos, da Itália e do Reino Unido. Em média, as metanálises incluíram 23 estudos e 15.200 participantes. Em geral, a qualidade metodológica foi baixa, e apenas 8,9% delas podem ser consideradas de algum grau de confiabilidade

Conclusão:

Embora algumas metanálises bem conduzidas sobre a doença pelo COVID-19 tenham sido publicadas, a maioria apresenta baixa qualidade. Todos os envolvidos na abordagem da doença pelo COVID-19, incluindo formuladores de políticas, pesquisadores, editoras e periódicos, devem dar prioridade a metanálises de alta qualidade, realizadas apenas quando os dados são viáveis, e desencorajar as de baixa qualidade ou conduzidas com métodos subótimos.

Descritores: Bibliometria, Coronavírus, COVID-19, Metanálise, Betacoronavírus, SARS-CoV-2, Cientometria, Revisão sistemática

INTRODUÇÃO

Desde que a doença pelo coronavírus 2019 (COVID-19) foi reconhecida como uma séria ameaça à saúde pública, pesquisadores de todo o mundo têm dedicado tempo e esforço para caracterizar e entender essa nova doença, o que acabou levando ao aumento sem precedentes no número de publicações.(1-3) Em média, mais de 200 novos artigos sobre a COVID-19 estão sendo indexados diariamente no PubMed®.(4)

Todas as partes envolvidas em pesquisa acadêmica e publicação científica trabalham para garantir a eficiên­cia do fluxo de publicação. Governos e agências de apoio oferecem financiamento e bolsas especiais para pes­quisas sobre COVID-19; comitês de ética e outros órgãos reguladores priorizam projetos relacionados à doença;(5) editoras oferecem políticas de acesso livre aos artigos sobre COVID-19, e periódicos usam processos abreviados para revisão de artigos sobre COVID-19.(6,7)

Todos esses esforços visam aumentar o conhecimento e gerar evidências sobre essa doença. De uma perspectiva baseada em evidências, as metanálises são geralmente consideradas a abordagem experimental que gera o mais alto nível de evidência científica. Assim, não é de surpreender que metanálises sobre a COVID-19 já estejam sendo publicadas. Em decorrência desse cresci­mento evidente e constante nas publicações sobre o tema, iniciou-se uma discussão sobre a qualidade e os padrões éticos desses artigos.(6,8-10)

A necessidade de divulgar e publicar rapidamente os dados, somada ao prazo mais curto da revisão por pares, pode resultar em diminuição na qualidade dos re­latórios publicados. Como as metanálises também estão sujeitas ao mesmo ambiente de publicação, essa diminuição da qualidade pode afetá-las também. Para quantificar o problema e prever possíveis desvantagens na síntese de evidências das pesquisas sobre COVID-19, é importante quantificar o número de metanálises que estão sendo publicadas, suas características, seus métodos e a qualidade média dessas publicações.

OBJETIVO

Realizar uma revisão de escopo das metanálises publicadas sobre a doença pelo coronavírus 2019, avaliando suas principais características, tendências de publicação e qualidade metodológica.

MÉTODOS

Foi realizada uma busca bibliométrica nas bases PubMed®, Scopus e Web of Science, para levantamento de todas as metanálises publicadas sobre COVID-19. A estratégia de busca, inicialmente concebida para o PubMed® e adaptada às demais bases de dados, está descrita a seguir. A busca foi realizada em 18 de agosto de 2020 e não foram utilizados filtros de publicação. O protocolo usado foi registrado no Open Science Framework (https://osf.io/tnps2/).

A busca utilizou os seguintes termos: (meta-analysis [publication type] OR meta-analysis as topic [mesh] OR meta-analysis [tiab] OR meta-analyses [tiab] OR meta-analysis [tiab] OR metaanalyses [tiab] OR meta-analysis [tiab] OR metanalyses [tiab]) AND (covid-19 [supplementaryconcept] OR covid-19 OR covid19 OR “novel coronavirus” OR “sars-cov-2” OR “2019-ncov”).

Os artigos resultantes foram triados e avaliados em um processo de duas etapas. Na primeira, os títulos e resumos foram revisados por dois autores independentes. As divergências foram resolvidas por consenso. Em seguida, o texto completo dos artigos selecionados na primeira etapa foi avaliado por um único autor por artigo e verificado por um segundo revisor. Foram consideradas elegíveis somente as metanálises que tratassem de questões relacionadas à COVID-19. Em relação à estratégia PI(E)CO, a COVID-19 poderia ser abordada como intervenção (I), exposição (E) ou desfecho (O), e não houve restrição quanto à população (P) e nem aos comparadores (C). Foram aplicados seis critérios principais de exclusão: artigos publicados antes de 2019; protocolos de revisões sistemáticas e metanálises; desenhos de pesquisa que não fossem metanálises (revisões sistemáticas sem metanálises foram excluídas); metanálises não relacionadas à COVID-19; metanálises com dados provindos de fontes que não fossem artigos publicados anteriormente (por exemplo, metanálises de dados geográficos ou meteorológicos) e artigos cujo texto completo não foi encontrado. Foram consideradas elegíveis também as metanálises em que dados da COVID-19 foram analisados junto dos de outras doenças, como síndrome respiratória aguda grave (SARS) ou síndrome respiratória do Oriente Médio (MERS).

A extração dos dados foi realizada por um único autor, por artigo. Foram extraídos os seguintes dados: informações bibliométricas (autor, ano de publicação, data de publicação, periódico e país – com base na primeira afiliação do primeiro autor), número de artigos e indivíduos incluídos nas metanálises, registro pré-publicação (por exemplo, International Prospective Register of Systematic Reviews – PROSPERO), bancos de dados pesquisados e desenhos de pesquisa considerados elegíveis (somente ensaios controlados randomizados – ECR –,somente desenhos não randomizados, ou ambos). Os artigos foram classificados nas mesmas 13 categorias utilizadas no PROSPERO para categorização de protocolos de revisões sistemáticas relacionados à COVID-19. Finalmente, a qualidade metodológica das metanálises incluídas foi avaliada na ferramenta A Measurement Tool to Assess Systematic Reviews (AMSTAR) 2.0.(11) Todos os autores que usaram essa ferramenta foram treinados por um revisor sênior, e os critérios de avaliação de cada item foram discutidos e padronizados em uma reunião. Para garantir consistência e acurácia na abstração dos dados, foram realizadas duas rodadas de calibração: na primeira, todos os autores envolvidos na extração dos dados analisaram um conjunto de dez artigos da amostra. Na segunda rodada, uma amostra de 130 artigos foi avaliada por pares de revisores. Os revisores puderam iniciar a extração dos dados e a avaliação da qualidade de forma independente apenas depois de garantir a consistência.

Todos os dados foram analisados qualitativamente e apresentados de forma descritiva, quando necessário (percentagens e frequência absoluta para variáveis categóricas, e média e desvio-padrão para variáveis numéricas). Esta revisão de escopo foi realizada de acordo com as diretrizes Preferred Reporting Items for SystematicReviews and Meta-Analyses Extension for Scoping Reviews (PRISMA-ScR).(12)

A atribuição de cada autor em cada etapa desta revisão sistemática está especificada no protocolo registrado (https://osf.io/tnps2/).

RESULTADOS

Das 1.296 metanálises, 348 foram consideradas elegíveis (Figura 1). O primeiro artigo da amostra foi indexado em 26 de fevereiro de 2020.(13) No curto período desde a publicação do artigo (176 dias até 18 de agosto), em média, foi publicada 1,95 metanálise por dia. Esse número aumentou, como mostrado na figura 2. Entre esses artigos, em 336 (96,5%) se abordou apenas a COVID-19, enquanto 12 (3,4%) mesclaram dados sobre COVID-19 e outras doenças (12 sobre SARS, 11 sobre MERS, 1 sobre Ebola e 1 sobre influenza). As metanálises incluíram média de 22,94±21,49 estudos (mediana: 16) e 15.250,57±46.876,16 participantes (mediana: 4.121).

Figura 1. Fluxograma de identificação e inclusão de artigos.

Figura 1

Open in a new tab

Figura 2. Análise temporal da produção de publicações. O número de metanálises publicadas por mês é mostrado desde a publicação da primeira delas (26 de fevereiro). Os artigos cuja data de publicação não pôde ser determinada ou previstos para publicação a partir de setembro de 2020 não foram contados (n=329). Os dados de agosto não devem ser interpretados como uma redução no número de metanálises publicadas, já que a estratégia de busca foi colocada em prática em 18 de agosto de 2020.

Figura 2

Open in a new tab

Os estudos foram publicados em 193 periódicos diferentes. O Journal of Medical Virology ficou em primeiro lugar, com 35 metanálises publicadas sobre COVID-19 (9,1%), seguido pelo Journal of Infection com 19 artigos (4,9%). Oito periódicos publicaram entre seis e nove metanálises cada, 39 publicaram entre duas e quatro metanálises cada, e os 144 periódicos restantes publicaram uma única metanálise cada. A maioria das metanálises foi publicada em revistas de infectologia ou virologia (78 artigos em 15 revistas), seguida de clínica médica/medicina interna/geral (38 artigos em 19 revistas), cardiologia e medicina vascular (24 artigos em 20 revistas) e gastrenterologia (19 artigos em 14 revistas) (Figuras 3A e 3B).

Figura 3. Publicações por área temática e país. (A) Número de artigos em cada área temática; (B) Número de periódicos em cada área temática; (C) Número de artigos por país. O tempo decorrido desde o primeiro caso local de COVID-19, a capacidade de incluir estudos publicados em idiomas locais e o recente aumento geral na publicação de metanálises podem ter contribuído para a classificação da China como a maior produtora de análises, com produção duas vezes maior que os Estados Unidos.

Figura 3

Open in a new tab

No total, 37 países figuraram na lista de publicações (Figura 3C). China foi o país com a maior produção, com 117 artigos (33,6%), seguido pelos Estados Unidos, com 54 artigos (15,1%), e Itália e Reino Unido, com 22 artigos cada (12,6%).

Apenas 58 metanálises (16,7%) registaram um protocolo, sendo o PROSPERO o registro de protocolos mais utilizado. Seis metanálises (1,6%) incluíram apenas ECR, enquanto as restantes basearam-se em es­tudos observacionais ou em uma combinação de diferentes desenhos.

Com relação às estratégias de busca das metanálises, 107 delas (30,7%) pesquisaram cinco ou mais bases de dados, enquanto 23 (6,6%) pesquisaram uma única base de dados, prática não recomendada devido ao maior risco de viés de seleção. PubMed® e MEDLINE® foram as bases de dados mais usadas (342 artigos; 98,3%), seguidas por Embase (204 artigos; 58,6%), Web of Science (130 artigos; 37,4%), CochraneCentral (129 artigos; 37,1%) e Scopus (94 artigos; 27,0%). Fontes pré-impressão, como medRxiv e bioRxiv, foram usadas em 74 artigos (21,3%). Bancos de dados regionais da China foram usados em 74 artigos (21,3%).

Os focos mais comuns nas metanálises incluídas foram o prognóstico da doença (200 artigos; 57,5%), epidemiologia (130 artigos; 37,4%), diagnóstico (48 artigos; 13,8%), impactos na saúde (43 artigos; 12,4%) e tratamentos (42 artigos; 12,1%).

A avaliação da qualidade utilizando o AMSTAR 2.0 revelou que apenas 31 das metanálises (8,9%) tiveram qualidade suficiente para uma alta confiança nos resultados da revisão, enquanto 186 (53,4%) tiveram nível de qualidade criticamente baixo. As análises de qualidade, de acordo com cada item do AMSTAR 2.0, são mostradas na figura 4.

Figura 4. Avaliação de qualidade das metanálises sobre COVID-19 usando a ferramenta A Measurement Tool to Assess Systematic Reviews. (A) Número de metanálises conforme os diferentes níveis de confiança; (B) Avaliação de cada critério incluído na ferramenta A Measurement Tool to Assess Systematic Reviews. A cor verde significa que um item foi abordado de forma adequada; amarelo significa que foi parcialmente abordado de forma adequada, e vermelho significa que não foi abordado.

Figura 4

Open in a new tab

DISCUSSÃO

As metanálises são consideradas como o mais alto nível de evidência. Portanto, os tomadores de decisões em saúde confiam frequentemente nelas para obter orientações baseadas em evidências.(14) Na atual pandemia, práticas e políticas de saúde precisam ser desenvolvidas rapidamente, o que torna as metanálises importante fonte de evidências. No entanto, deve-se ter em mente que a qualidade das metanálises não depende apenas da metodologia utilizada, mas também do número e qualidade dos artigos incluídos. Dessa forma, a pergunta principal é: temos estudos de qualidade suficiente para produzir metanálises sobre a COVID-19?.

As principais bases das metanálises são os estudos nelas incluídos. A razoabilidade da realização de metanálises depende do número de artigos analisados, e a robustez dos resultados depende da qualidade dos artigos incluídos (de acordo com o conceito de “garbage in, garbage out”). As metanálises devem empregar métodos científicos apropriados. Na verdade, o aumento do número de metanálises de baixo viés (ou seja, com métodos confiáveis e metodologia robusta) pode melhorar a proporção geral de resultados científicos confiáveis.(15) Embora o número total de artigos sobre a COVID-19 seja considerável, foram levantadas dúvidas sobre a qualidade geral dos estudos(6,8-10) e, em relação às metanálises, já foram relatados alguns casos de estudos com falhas metodológicas.(16,17)

As metanálises incluídas neste estudo apresentam quantidade razoável de dados, com média de 23 estudos e 15 mil participantes por artigo. Trata-se de uma constatação surpreendente, pois o esperado seria que as metanálises publicadas fossem muito menores, já que foram produzidas pouco tempo após o início da pandemia. Isso é explicado pelo fato de que foram publicados estudos epidemiológicos sobre COVID-19, com coortes muito grandes, relativamente pouco tempo após o surto inicial. No entanto, embora não pareça haver falta de dados, a qualidade dessas metanálises é notavelmente baixa, e apenas 31 delas (8,9%) são consideradas de alta qualidade.

Vale também ressaltar que não foi publicada nenhuma metanálise baseada somente em ECR. Isso porque várias metanálises publicadas abordaram ques­tões que só poderiam ser solucionadas com estudos observacionais (como a prevalência de fatores de risco). Porém, a produção de metanálises sobre tópicos que dependam de ECR devidamente realizados (como intervenções farmacológicas e vacinas) parece não ser viável no curto prazo.

As fontes e tópicos das metanálises também mostraram resultados interessantes. Mais de 50% dos estudos provêm apenas de quatro países: China, Estados Unidos, Itália e Reino Unido. Embora esses países estejam entre os mais afetados pela COVID-19, essa correlação pode induzir ao erro, já que figuravam entre os seis principais produtores de metanálises, mesmo antes da pandemia.(18) É interessante notar que a produção da China é quase o dobro da dos Estados Unidos, o que provavelmente reflete o aumento geométrico na produção de metanálises pela China, desde 2009.(19)

A maioria das metanálises foi publicada em perió­dicos de virologia e infectologia, abordando fatores prognósticos e epidemiologia. Isso era esperado, já que esses foram os primeiros tópicos para os quais uma grande quantidade de dados foi disponibilizada. Embora o PROSPERO já esteja registrando revisões siste­máticas sobre tratamentos e vacinas, metanálises sobre esses assuntos, no curto prazo, parecem bastante inviáveis (e serão menos informativas, dado o número limitado de ECR completos disponíveis).

Um aspecto positivo das metanálises estudadas foi a inclusão de preprints (18,0%) e bases de dados nacionais (principalmente chineses; 22,5%). Estima-se que cerca de um quarto de todas as evidências relevantes sobre a COVID-19 não estejam no PubMed®, mas sim em preprints,(20) e a não inclusão delas representa um claro viés de publicação. O mesmo se aplica à inclusão de bases de dados nacionais, já que quantidade razoável de dados sobre epidemiologia e descrição clínica só estão disponíveis em chinês.

O número total de metanálises aumentou consideravelmente nos últimos anos,(21) e essa publicação em massa tem sido fortemente criticada.(22,23) Entre os principais problemas relacionados ao aumento do número de metanálises publicadas estão esforços duplicados, resultados conflitantes, baixa qualidade e valor prático limitado.(22) Enquanto esta pesquisa se concentrou na análise da qualidade dos estudos, pode-se esperar que esses mesmos problemas também estejam presentes nas metanálises relacionadas à COVID-19. Um exemplo de resultados conflitantes em metanálises sobre a COVID-19 foi em relação ao tabagismo. Metanálise publicada em maio de 2020 concluiu que o tabagismo não representa fator de risco para casos graves de COVID-19.(24) Entretanto, duas metanálises subsequentes destacaram erros metodológicos na análise ori­ginal e chegaram à conclusão oposta.(16,25) Desde então, várias outras revisões sistemáticas foram produzidas sobre tabagismo, incluindo uma recente, que utilizou métodos robustos (uma revisão dinâmica com metanálise bayesiana, atualmente na sétima edição).(26) As conclusões reforçam a complexidade dessa associação, pois constataram que fumantes atuais apresentam risco reduzido de infecção pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2), mas ex-fumantes têm maior risco de quadro grave e mortalidade por COVID-19. Apesar do número crescente de metanálises sobre inconsistências da COVID-19, a baixa qualidade e as deficiências metodológicas dessas análises podem reduzir sua capacidade de produzir resultados aplicáveis. Isso é especialmente importante para os formuladores de políticas e gestores de serviços de saúde, que podem querer usar as metanálises para orientar suas práticas e políticas.

A ideia de que as metanálises representam inequivocamente o mais alto nível de evidência médica está ultrapassada,(27) e essa afirmação certamente não pode ser aplicada a todas as metanálises. Na verdade, metanálises fracas ou imprecisas produzem menos evidências que, por exemplo, um grande estudo observacional bem conduzido ou um estudo multicêntrico controlado adequadamente. Com base nessas considerações e nos resultados dessas revisão, podem ser feitas as seguintes recomendações aos diferentes interessados sobre como interpretar as metanálises sobre COVID-19.

Para os formuladores de políticas: as metanálises são inegavelmente importantes para os formuladores de políticas, para que possam elaborar e implementar políticas usando informações confiáveis e baseadas em evidências. Porém, as metanálises atuais sobre COVID-19 têm qualidade limitada e, em alguns casos, apresentam resultados discrepantes. Portanto, em tempos de evidências incertas, a tomada de decisões não deve depender cegamente das metanálises, mas de uma análise profunda da literatura e das evidências nela contidas.

Para pesquisadores e autores de metanálises: novas metanálises sobre COVID-19 são bem-vindas, desde que forneçam novas evidências de alta qualidade. Metanálises de baixa qualidade (prematuras, redundantes, dúbias, inconclusivas ou realizadas com práticas subótimas) são contraproducentes, pois prejudicam a síntese adequada de evidências. Assim, sugere-se que futuros autores de metanálises realizem uma avaliação crítica e séria da necessidade de suas metanálises. Os fatores a seguir devem ser avaliados: se existem dados suficientes para realizar uma metanálise; se os dados disponíveis parecem confiáveis, comparáveis e livres de heterogeneidade e se já foram publicadas outras metanálises ou registrados protocolos. Os pesquisadores devem realizar uma busca por registros de protocolos de revisões sistemáticas e metanálises, para evitar esforços duplicados e redundantes. A qualidade e a robustez metodológica não devem ser negligenciadas em favor da pressa de publicar, pois isso aumenta a chance de se produzir uma revisão de baixa qualidade (conforme visto nestes resultados).

Para periódicos e editoras: as metanálises geralmente geram uma quantidade razoável de citações e boa visibilidade para os periódicos que as publicam.(28) Por isso, na situação atual, os periódicos podem se sentir tentados a publicar metanálises, ignorando métodos falhos e procedimentos de baixa qualidade. É interessante observar que, conforme o número de artigos sobre COVID-19 aumentou, cresceu também o de artigos retirados ou corrigidos.(29) Os periódicos devem cumprir seu papel social de divulgação da ciência baseada em evidências. Discussões recentes destacaram o papel dos periódicos na promoção da publicação de metanálises de alta qualidade, desencorajando, ao mesmo tempo, publicações que não sigam padrões metodológicos ideais.(30) Isso é especialmente relevante na situação atual. A revisão por pares pode ser abreviada, desde que sua qualidade e equidade não sejam prejudicadas. Sugere-se que um pesquisador com experiência em metanálises seja sempre incluído como revisor, ou que o conselho editorial inclua um especialista em estatística, a fim de garantir que metanálises com falhas ou baixa qualidade não sejam publicadas.

Alguns pontos precisam ser considerados para uma interpretação adequada deste estudo. Esta é uma revisão de escopo, e não uma revisão sistemática. Portanto, em vez de produzir nossa própria metanálise, nossa revisão buscou descrever o panorama das metanálises atuais sobre COVID-19, focando no quadro geral desta área de pesquisa, e não nos aspectos individuais de cada estudo. Decidiu-se excluir revisões sistemáticas sem metanálises. Isso porque nosso foco esteve na síntese de evidências, que são bastante limitadas em revisões que não incluem metanálises, e também, em muitos casos, o termo “revisão sistemática” é mal utilizado.(31) No entanto, uma enorme quantidade de revisões sistemáticas foi publicada, cuja qualidade já foi avaliada em um artigo anterior.(32) Esta é uma revisão com restrições de tempo. No futuro próximo, metanálises sobre a maioria dos aspectos da COVID-19 devem se tornar viáveis. Ainda assim, um estudo focado na avaliação da qualidade das metanálises publicadas até o momento sobre COVID-19 é oportuno, e este apelo pela priorização de metanálises de alta qualidade faz-se importante.

CONCLUSÃO

As metanálises são uma ferramenta importante na medicina baseada em evidências. O número de metanálises sobre a COVID-19 está e continuará aumentando. Acredita-se que as metanálises terão um papel importante no estudo da COVID-19, definindo as características epidemiológicas da doença e os tratamentos mais adequados e apoiando a elaboração de políticas. No entanto, apesar de se concordar sobre a necessidade de metanálises sobre a COVID-19, isso não deve ser tomado como carta branca para que sejam produzidas indiscriminadamente.

Embora já tenham sido publicadas algumas metanálises bem conduzidas sobre a COVID-19, a maioria, até agora, é de má qualidade e provavelmente resultarão em mais danos do que benefícios. Poucas de todas as metanálises sobre a COVID-19 em nossa revisão poderiam ser consideradas de alta qualidade, enquanto mais da metade foi avaliada como de qualidade muito baixa. Assim, todas as partes interessadas envolvidas na pesquisa e publicação sobre a COVID-19 (incluindo formuladores de políticas, pesquisadores, editoras e pe­riódicos) devem se concentrar na pesquisa baseada em evidências, apoiando metanálises bem desenhadas, que sejam produzidas apenas quando as informações de base forem adequadas, e desencorajando as de baixa qualidade ou que utilizem métodos subótimos.

AGRADECIMENTOS

Gabriel Natan Pires recebeu auxílio da Associação Fundo de Incentivo à Pesquisa (AFIP). Sergio Tufik e Monica Levy Andersen receberam auxílio da AFIP, Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES - Código de financiamento 001)e Conselho Nacional de Desenvolvimento Científico eTecnológico (CNPq). Samuel Fen I Chen, Thainá Baenninger de Oliveira e Victor Luiz Selva Pinto são bolsistas PIBIC-CAPES.

Articles from Einstein are provided here courtesy of Instituto de Ensino e Pesquisa Albert Einstein

RESOURCES