Skip to main content
NCBI home page
Einstein logoLink to Einstein
. 2021 Jul 22;19:eAO5969. doi: 10.31744/einstein_journal/2021AO5969
View full-text in Portuguese

Google Trends correlation and sensitivity for outbreaks of dengue and yellow fever in the state of São Paulo

Vitor Ulisses Monnaka 1, Carlos Augusto Cardim de Oliveira 1
PMCID: PMC8302225  PMID: 34346987

ABSTRACT

Objective

To assess Google Trends accuracy for epidemiological surveillance of dengue and yellow fever, and to compare the incidence of these diseases with the popularity of its terms in the state of São Paulo.

Methods

Retrospective cohort. Google Trends survey results were compared to the actual incidence of diseases, obtained from Centro de Vigilância Epidemiológica “Prof. Alexandre Vranjac”, in São Paulo, Brazil, in periods between 2017 and 2019. The correlation was calculated by Pearson’s coefficient and cross-correlation function. The accuracy was analyzed by sensitivity and specificity values.

Results

There was a statistically significant correlation between the variables studied for both diseases, Pearson coefficient of 0.91 for dengue and 0.86 for yellow fever. Correlation with up to 4 weeks of anticipation for time series was identified. Sensitivity was 87% and 90%, and specificity 69% and 78% for dengue and yellow fever, respectively.

Conclusion

The incidence of dengue and yellow fever in the State of São Paulo showed a strong correlation with the popularity of its terms measured by Google Trends in weekly periods. Google Trends tool provided early warning, with high sensitivity, for the detection of outbreaks of these diseases.

Keywords: Communicable diseases, Epidemiological monitoring, Population surveillance, Search engine, Information technology, Forecasting, Yellow fever, Dengue

INTRODUCTION

Communicable diseases are a threat to the health of individuals, especially in developing countries.(1) In Brazil, dengue and yellow fever represent infections of great impact on the health of the population.(2) Early identification of communicable disease outbreaks increases the possibility of spread control with the eventual use of prevention, isolation, and treatment interventions.(3)

Dengue fever is an acute infection, with high mortality rates,(4) mainly transmitted by the mosquito Aedes aegypti,(5) which has its cases classified as without warning signs, with warning signs and severe, according to the World Health Organization (WHO). It is the major cause of arbovirus in the world,(6) and Brazil ranks first in number of cases, in this century.(7,8) Yellow fever, an acute, febrile, hemorrhagic and non-contagious infection, and has accounted for high mortality in South American and African populations since the 17th century.(9,10) It presents two distinct patterns of epidemiological transmission: wild and urban – both by Aedes aegypti.(10,11) According to the Epidemiological Bulletin volume 51, published by the Brazilian Ministry of Health, a total of 714,164 probable dengue cases were identified and 298 deaths due to dengue were confirmed from January to May 2020. Between July 2019 and May 2020, 812 cases of yellow fever were reported in the country, 324 of them in the State of São Paulo.

Due to the impact on the health of the Brazilian population, effective surveillance of dengue and yellow fever cases is extremely important for epidemic control.(3) In the state of São Paulo, the Centro de Vigilância Epidemiológica (CVE) “Prof. Alexandre Vranjac”, a epidemiological surveillance agency in the structure of the Disease Control Coordination (CDC - Coordenadoria de Controle de Doenças), is responsible for the disclosure of periodic reports on the status of these diseases, by epidemiological weeks. However, the presence of an effective surveillance structure is not homogeneous for all Brazilian states, and underreporting is a possible failure factor for the accuracy of cases.

Considering the obstacles present in epidemiological surveillance of communicable diseases, online tools have been suggested as complementary methods to obtain information, which signals potential outbreaks. A study(12) conducted with Brazilian data, using the Twitter tool, showed an association between tweets and dengue, demonstrating the possibility of this tool to estimate the number of cases weekly. The National Contingency Plan for Dengue Epidemics, prepared by the Ministry of Health, also guides the use of the relative trend of rumors on Twitter, as indicators for specific actions in response. In this sense, Google Trends,(13) a tool that analyzes the popularity of a term searched on Google,(14) over a period of time, in a location, could be useful in surveillance of dengue and yellow fever cases.

In Google Trends, the trend for a given term is displayed on a scale of zero to one hundred, in which on hundred represents the largest search volume for the term, at a given location and period. The results represent a relative value that reflects the number of searches performed for a specific term, compared to the total number of searches performed. In recent years, the attempt to use this instrument for health-related issues has been increasing. Previous studies have analyzed Google Trends’ ability to predict influenza epidemics in Latin America,(15) and confirmed cases of Zika,(16) and demonstrated correlation between the trends of the terms and the cases of dengue around the world.(17-20)

Thus, given the published evidence, it is important to evaluate the usefulness of this platform for epidemiological surveillance of dengue and yellow fever.

OBJECTIVE

To assess Google Trends accuracy for epidemiological surveillance of dengue and yellow fever, and to compare the incidence of these diseases with the popularity of its terms in the state of São Paulo.

METHODS

The project was carried out at Faculdade Israelita de Ciências da Saúde Albert Einstein (FICSAE - HIAE), from August 2018 to August 2019. This project did not require approval by the Research Ethics Committee, since it only used data in the public domain, not involving human beings. The design used was a retrospective cohort. Google Trends data were obtained from its online platform https://trends.google.com/trends/, which provides the trends related to search frequency of their terms on Google, on a scale of zero to one hundred, in which one hundred represents the largest search volume for the term, at a given location and time period. Results denoted as “<1” in terms of trends were approximated to the value of one, with the objective of quantitatively standardizing information, enabling statistical analysis. Information on yellow fever was obtained through the term “febre amarela” in the state of São Paulo, by epidemiological week, from January 1, 2017 to May 19, 2018, comprising a total of 70 weeks, 50 from 2017, plus 20 from 2018. Epidemiological weeks 24 and 26 weeks, from 2017, were excluded from the analysis due to the lack of publication of epidemiological bulletins for these periods. Information on dengue was obtained through the term “dengue” in the state of São Paulo, by epidemiological week, from December 31, 2017 to March 30, 2019, comprising a total of 65 weeks, 52 from 2018, plus 13 from 2019. The incidence of yellow fever and dengue in the state of São Paulo was obtained from the epidemiological bulletin released by the CVE of State Health Authority of São Paulo, representing the total number of cases in the corresponding periods.

Statistical analysis

The association between the quantitative measurements of the methods was assessed using Pearson’s correlation coefficient and time series analysis.(21) The cross-correlation function enables the assessment of temporal dependence between two series of variables through lag values, which express the degree and direction of the association. A lag of -2 for a given coefficient indicates that Google Trends data shifted back two weeks from CVE records. That is, the correlation of the increase of the trends is represented two weeks before the registration of the cases. Statistical analyses were performed using the software RStudio,(22) and the significance level considered was 0.05.

The diagnostic accuracy of this tool for detecting epidemics in the state of São Paulo was assessed by classifying epidemiological weeks, by the presence or absence of epidemics, and trends in terms of Google Trends, by the presence or absence of warning signs. Based on CVE data, considered gold standard, we established as epidemic thresholds the case numbers of, at least, three and 500, for yellow fever and dengue, respectively. We considered as a warning signal the trends values of, at least, four and five, for yellow fever and dengue, respectively. The comparison between these data enabled calculation of sensitivity and specificity values.

RESULTS

Figures 1 and 2 represent the incidence of diseases and their Google Trends terms for dengue and yellow fever, respectively. In figure 1, the dengue epidemic was determined as from week 50, when there were 798 cases. In figure 2, there are two epidemics of yellow fever, one starting at week 11, and another, at week 50, both with three cases.

Figure 1. Cases and trends of dengue per epidemiological week.

Figure 1

Open in a new tab

Figure 2. Cases and trends of yellow fever per epidemiological week.

Figure 2

Open in a new tab

Figures 3 and 4 represent scatter plots between incidence of disease and Google Trends search terms for dengue and yellow fever, respectively. There was a statistically significant correlation (p<0.0001) for both diseases. In the case of dengue, Pearson’s coefficient was 0.91, while for yellow fever, the coefficient was 0.86. The results of these analyzes are shown in table 1. Cross-correlation analysis showed a statistically significant correlation for up to 4 weeks of displacement between time series, as shown in table 2.

Figure 3. Scatter plot of dengue. Statistics represent Pearson’s correlation test.

Figure 3

Open in a new tab

Figure 4. Scatter plot of yellow fever. Statistics represent Pearson’s correlation test.

Figure 4

Open in a new tab

Table 1. Results of Pearson correlation tests.

Diseases Coefficient 95%CI
Dengue 0.91 0.86-0.94
Yellow fever 0.86 0.78-0.91
Open in a new tab

95%CI: confidence interval 95%. Correlation between the incidence of these two diseases and the search results in Google Trends for terms related to them.

Table 2. Cross-correlation coefficients.

Lag in weeks Dengue Yellow fever
-4 0.46* 0.27*
-3 0.56* 0.30*
-2 0.67* 0.45*
-1 0.79* 0.68*
0 0.91* 0.86*
Open in a new tab

* Significant in p≤0.05. Correlation between the incidence of these two diseases and the search results in Google Trends for terms related to them with the assessment of temporal dependence through lag values.

To assess the accuracy of Google Trends for epidemic detection, the values of the true positive, false positive, true negative and false negative were calculated, as shown in table 3. From these data, a sensitivity of 87% and a specificity of 69% were calculated for dengue, and a sensitivity of 90% and a specificity of 78%, for yellow fever.

Table 3. Crossover for diagnostic accuracy evaluation.

Dengue Yellow fever
Google Trends alert Epidemic Google Trends alert Epidemic
Present Absent Present Absent
Present 14 15 Present 18 10
Absent 2 34 Absent 2 35
Open in a new tab

Comparison between the classification of epidemiological weeks by the presence or absence of epidemics and trends in terms of Google Trends by the presence or absence of warning signs.

DISCUSSION

Google Trends allows evaluating human behavior and predicting health-related issues, and it has been demonstrated the seasonality found in online searches is related to cases of the surveyed diseases.(23) Statistical methods and approaches for this type of analysis have already been described in systematic reviews.(24)

The present study demonstrated the data obtained with this tool showed a strong correlation with the incidence of yellow fever in the state of São Paulo, in the evaluation in weekly periods. The high correlation between dengue cases and Google Trends has already been identified in Indonesia,(18) Philippines,(19) and India.(20) Using Brazilian data, Yang et al.,(17) compared surveys with dengue cases provided by the Ministry of Health, on monthly periods, between January 2001 and December 2012, and found a correlation of 0.971, similar to our results. However, this study is the first to demonstrate this correlation with Brazilian data on a weekly basis. This approach enabled evaluating time series already performed in other countries,(18-20) and showed a moderate correlation before epidemics occurred, with up to 4 weeks difference for dengue, and 3 weeks for yellow fever. This indicates the ability of this tool to provide an early warning, enabling authorities to take action to anticipate the spread of these diseases.

Other studies have evaluated Google Trends using Brazilian data from other diseases. One study(15) assessed the predictive capacity of influenza epidemics in Latin America, comparing the proportion of cases on the FluNet platform, between January 2011 and December 2014, with Google Trends data, obtaining Pearson´s correlation coefficients between 0.48 in 2012 and 0.61 in 2014, in Brazil. This article found a substantial inaccuracy of Google Trends compared to FluNet, most likely due to limited Internet access in some regions. It also highlighted the limitations of FluNet due to the geographic dimensions of Brasil, as well as to its ecological and demographic diversity. Another study(16) analyzed the predictive capacity of confirmed cases of Zika in Brazil, showing that Google Trends could anticipate the epidemic a week in advance.

Unlike the study by Marques-Toledo et al.,(12) who developed a model for predicting the number of dengue cases based on data from the Twitter social network, this study proposes a different use of online tools. We believe that the greatest importance of these instruments is in identifying the occurrence of an epidemic, and not necessarily in predicting the number of cases. Hence, this study is the first to analyze the accuracy of Google Trends to identify outbreaks. A high sensitivity was found for yellow fever (0.90) and dengue (0.87), which points to a practical utility of this tool, especially noting that, in the case of prediction, sensitivity is more useful than specificity, for it indicates a low probability of false negatives, less likely to lose cases. Thus, its applicability can be very useful, especially in states with less effective epidemiological surveillance systems, as a complementary analysis to the available methods.

Another useful health-related utility of Google Trends could be the assessment of diseases that are not within the scope of epidemiological surveillance agencies. Its usefulness could also be significant for monitoring uncommon adverse reactions, and new beneficial effects for medications, as well as evaluating effective dose minimization (Phase IV studies), after drug marketing.

Limitations

Some limitations may be noted for the methods of analysis employed in this study, to verify the incidence of the disease as a cause of the increase in trends of related terms, due to the existence of other mechanisms of association between two variables, such as chance or confusion. As trends of the Google Trends are determined by the interests of Internet users, they may produce a random correlation, not necessarily due to the incidence of diseases. However, the large volume of research significantly reduces the probability of error due to chance. In addition, there may be other variables responsible for inducing positive confusion, such as awareness campaigns conducted at the time of the highest incidence of the disease or media news, which increases public interest and, consequently, the search rate.

Since the use of Google’s search tool depends on Internet access, we also emphasize that less favored regions may have lower search rates, even with a high incidence of a certain disease, which limits the applicability of this instrument.

CONCLUSION

The study showed a significant correlation between the data generated by the Google Trends tool and the incidence of dengue and yellow fever in the state of São Paulo in the weekly period evaluation. The increased search provided early warning for outbreaks of these diseases, and showed high sensitivity for detecting epidemics. Further research should be conducted to confirm these findings for other diseases and locations, but the findings suggest the possibility of employing this tool as a simple and inexpensive method for epidemiological surveillance.

REFERENCES

  • 1.1. Boutayeb A. The double burden of communicable and non-communicable diseases in developing countries. Trans R Soc Trop Med Hyg. 2006;100(3):191-9. Review. [DOI] [PubMed]; Boutayeb A. The double burden of communicable and non-communicable diseases in developing countries. Trans R Soc Trop Med Hyg. 2006;100(3):191–199. doi: 10.1016/j.trstmh.2005.07.021. Review. [DOI] [PubMed] [Google Scholar]
  • 2.2. Waldman EA, Sato AP. Path of infectious diseases in Brazil in the last 50 years: an ongoing challenge. Rev Saude Publica. 2016;22;50:68. Review. [DOI] [PMC free article] [PubMed]; Waldman EA, Sato AP. Path of infectious diseases in Brazil in the last 50 years: an ongoing challenge. 68Rev Saude Publica. 2016;22(50) doi: 10.1590/S1518-8787.2016050000232. Review. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 3.3. Ellwanger JH, Kaminski VL, Chies JA. Emerging infectious disease prevention: Where should we invest our resources and efforts? J Infect Public Health. 2019;12(3):313-6. Review. [DOI] [PubMed]; Ellwanger JH, Kaminski VL, Chies JA. Emerging infectious disease prevention: Where should we invest our resources and efforts? J Infect Public Health. 2019;12(3):313–316. doi: 10.1016/j.jiph.2019.03.010. Review. [DOI] [PubMed] [Google Scholar]
  • 4.4. Mukhopadhyay S, Kuhn RJ, Rossmann MG. A structural perspective of the flavivirus life cycle. Nat Rev Microbiol. 2005;3(1):13-22. Review. [DOI] [PubMed]; Mukhopadhyay S, Kuhn RJ, Rossmann MG. A structural perspective of the flavivirus life cycle. Nat Rev Microbiol. 2005;3(1):13–22. doi: 10.1038/nrmicro1067. Review. [DOI] [PubMed] [Google Scholar]
  • 5.5. Louis VR, Phalkey R, Horstick O, Ratanawong P, Wilder-Smith A, Tozan Y, et al. Modeling tools for dengue risk mapping - a systematic review. Int J Health Geogr. 2014;13:50. Review. [DOI] [PMC free article] [PubMed]; Louis VR, Phalkey R, Horstick O, Ratanawong P, Wilder-Smith A, Tozan Y, et al. Modeling tools for dengue risk mapping - a systematic review. 50Int J Health Geogr. 2014;13 doi: 10.1186/1476-072X-13-50. Review. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 6.6. Gibbons RV, Vaughn DW. Dengue: an escalating problem. BMJ. 2002; 324(7353):1563-6. Review. [DOI] [PMC free article] [PubMed]; Gibbons RV, Vaughn DW. Dengue: an escalating problem. BMJ. 2002;324(7353):1563–1566. doi: 10.1136/bmj.324.7353.1563. Review. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 7.7. Teixeira MG, Costa MC, Barreto F, Barreto ML. Dengue: twenty-five years since reemergence in Brazil. Cad Saude Publica. 2009;25 Suppl 1:S7-18. Review. [DOI] [PubMed]; Teixeira MG, Costa MC, Barreto F, Barreto ML. Dengue: twenty-five years since reemergence in Brazil. Cad Saude Publica. 2009;25(Suppl 1):S7–18. doi: 10.1590/s0102-311x2009001300002. Review. [DOI] [PubMed] [Google Scholar]
  • 8.8. Antonio FJ, Itami AS, de Picoli S, Teixeira JJ, Mendes RD. Spatial patterns of dengue cases in Brazil. PLoS One. 2017;12(7):e0180715. [DOI] [PMC free article] [PubMed]; Antonio FJ, Itami AS, Picoli S, Teixeira JJ, Mendes RD. Spatial patterns of dengue cases in Brazil. PLoS One. 2017;12(7):e0180715. doi: 10.1371/journal.pone.0180715. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 9.9. Monath TP. Yellow fever: an update. Lancet Infect Dis. 2001;1(1):11-20. Review. [DOI] [PubMed]; Monath TP. Yellow fever: an update. Lancet Infect Dis. 2001;1(1):11–20. doi: 10.1016/S1473-3099(01)00016-0. Review. [DOI] [PubMed] [Google Scholar]
  • 10.10. Reiter P. Yellow fever and dengue: a threat to Europe? Euro Surveill. 2010; 15(10):19509. [PubMed]; Reiter P. Yellow fever and dengue: a threat to Europe? 19509Euro Surveill. 2010;15(10) [PubMed] [Google Scholar]
  • 11.11. Saad LD, Barata RB. Yellow fever outbreaks in São Paulo State, Brazil, 2000-2010. Epidemiol Serv Saude. 2016;25(3):531-40. [DOI] [PubMed]; Saad LD, Barata RB. Yellow fever outbreaks in São Paulo State, Brazil, 2000-2010. Epidemiol Serv Saude. 2016;25(3):531–540. doi: 10.5123/S1679-49742016000300009. [DOI] [PubMed] [Google Scholar]
  • 12.12. Marques-Toledo CA, Degener CM, Vinhal L, Coelho G, Meira W, Codeço CT, et al. Dengue prediction by the web: Tweets are a useful tool for estimating and forecasting Dengue at country and city level. PLoS Negl Trop Dis. 2017;11(7):e0005729. [DOI] [PMC free article] [PubMed]; Marques-Toledo CA, Degener CM, Vinhal L, Coelho G, Meira W, Codeço CT, et al. Dengue prediction by the web: Tweets are a useful tool for estimating and forecasting Dengue at country and city level. PLoS Negl Trop Dis. 2017;11(7):e0005729. doi: 10.1371/journal.pntd.0005729. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 13.13. Google Trends. Califórnia: Google LLC; s.d. [cited 2019 Feb 15]. Available from: https://trends.google.com/trends/ ; Google Trends [cited 2019 Feb 15];Califórnia: Google LLC. s.d. https://trends.google.com/trends/ [Google Scholar]
  • 14.14. Google LLC. Califórnia: Google LLC; s.d. [cited 2019 Feb 15]. Available from: https://www.google.com/ ; Google LLC [cited 2019 Feb 15];Califórnia: Google LLC. s.d. https://www.google.com/ [Google Scholar]
  • 15.15. Pollett S, Boscardin WJ, Azziz-Baumgartner E, Tinoco YO, Soto G, Romero C, et al. Evaluating Google Flu Trends in Latin America: important lessons for the next phase of digital disease detection. Clin Infect Dis. 2017;64(1):34-41. [DOI] [PMC free article] [PubMed]; Pollett S, Boscardin WJ, Azziz-Baumgartner E, Tinoco YO, Soto G, Romero C, et al. Evaluating Google Flu Trends in Latin America: important lessons for the next phase of digital disease detection. Clin Infect Dis. 2017;64(1):34–41. doi: 10.1093/cid/ciw657. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 16.16. Morsy S, Dang TN, Kamel MG, Zayan AH, Makram OM, Elhady M, et al. Prediction of Zika-confirmed cases in Brazil and Colombia using Google Trends. Epidemiol Infect. 2018;146(13):1625-7. [DOI] [PMC free article] [PubMed]; Morsy S, Dang TN, Kamel MG, Zayan AH, Makram OM, Elhady M, et al. Prediction of Zika-confirmed cases in Brazil and Colombia using Google Trends. Epidemiol Infect. 2018;146(13):1625–1627. doi: 10.1017/S0950268818002078. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 17.17. Yang S, Kou SC, Lu F, Brownstein JS, Brooke N, Santillana M. Advances in using Internet searches to track dengue. PLoS Comput Biol. 2017;13(7):e1005607. [DOI] [PMC free article] [PubMed]; Yang S, Kou SC, Lu F, Brownstein JS, Brooke N, Santillana M. Advances in using Internet searches to track dengue. PLoS Comput Biol. 2017;13(7):e1005607. doi: 10.1371/journal.pcbi.1005607. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 18.18. Husnayain A, Fuad A, Lazuardi L. Correlation between Google Trends on dengue fever and national surveillance report in Indonesia. Glob Health Action. 2019;12(1):1552652. [DOI] [PMC free article] [PubMed]; Husnayain A, Fuad A, Lazuardi L. Correlation between Google Trends on dengue fever and national surveillance report in Indonesia. 1552652Glob Health Action. 2019;12(1) doi: 10.1080/16549716.2018.1552652. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 19.19. Ho HT, Carvajal TM, Bautista JR, Capistrano JD, Viacrusis KM, Hernandez LF, et al. Using Google Trends to examine the spatio-temporal incidence and behavioral patterns of dengue disease: a case study in Metropolitan Manila, Philippines. Trop Med Infect Dis. 2018;3(4):118. [DOI] [PMC free article] [PubMed]; Ho HT, Carvajal TM, Bautista JR, Capistrano JD, Viacrusis KM, Hernandez LF, et al. Using Google Trends to examine the spatio-temporal incidence and behavioral patterns of dengue disease: a case study in Metropolitan Manila, Philippines. 118Trop Med Infect Dis. 2018;3(4) doi: 10.3390/tropicalmed3040118. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 20.20. Verma M, Kishore K, Kumar M, Sondh AR, Aggarwal G, Kathirvel S. Google search trends predicting disease outbreaks: an analysis from India. Healthc Inform Res. 2018;24(4):300-8. [DOI] [PMC free article] [PubMed]; Verma M, Kishore K, Kumar M, Sondh AR, Aggarwal G, Kathirvel S. Google search trends predicting disease outbreaks: an analysis from India. Healthc Inform Res. 2018;24(4):300–308. doi: 10.4258/hir.2018.24.4.300. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 21.21. Devore JL. Probability and statistics for engineering and the sciences. 9th ed. Boston: Cengage Learning; c2016. p. 193-212.; Devore JL. Probability and statistics for engineering and the sciences. 9th. Boston: Cengage Learning; c2016. pp. 193–212. [Google Scholar]
  • 22.22. R Studio.com.Boston: Learn how BioBuilder teaches aspiring Bioengineers remotely, using RStudio Cloud; 2018 [cited 2019 Feb 15]. Available from: https://www.rstudio.com/ ; R Studio [cited 2019 Feb 15];com.Boston: Learn how BioBuilder teaches aspiring Bioengineers remotely, using RStudio Cloud. 2018 https://www.rstudio.com/ [Google Scholar]
  • 23.23. Gianfredi V, Bragazzi NL, Nucci D, Martini M, Rosselli R, Minelli L, et al. Harnessing big data for communicable tropical and sub-tropical disorders: implications from a systematic review of the literature. Front Public Health. 2018;6:90. [DOI] [PMC free article] [PubMed]; Gianfredi V, Bragazzi NL, Nucci D, Martini M, Rosselli R, Minelli L, et al. Harnessing big data for communicable tropical and sub-tropical disorders: implications from a systematic review of the literature. 90Front Public Health. 2018;6 doi: 10.3389/fpubh.2018.00090. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 24.24. Mavragani A, Ochoa G, Tsagarakis KP. Assessing the methods, tools, and statistical approaches in Google Trends research: systematic review. J Med Internet Res. 2018;20(11):e270. [DOI] [PMC free article] [PubMed]; Mavragani A, Ochoa G, Tsagarakis KP. Assessing the methods, tools, and statistical approaches in Google Trends research: systematic review. J Med Internet Res. 2018;20(11):e270. doi: 10.2196/jmir.9366. [DOI] [PMC free article] [PubMed] [Google Scholar]
Einstein (Sao Paulo). 2021 Jul 22;19:eAO5969. [Article in Portuguese]

Correlação e sensibilidade do Google Trends para surtos de dengue e febre amarela no estado de São Paulo

Vitor Ulisses Monnaka 1, Carlos Augusto Cardim de Oliveira 1

RESUMO

Objetivo

Avaliar a acurácia do Google Trends para vigilância epidemiológica de dengue e febre amarela e comparar a incidência dessas doenças com a popularidade de seus termos no estado de São Paulo.

Métodos

Coorte retrospectiva. Os resultados da pesquisa Google Trends foram comparados com a incidência real de doenças, obtida do Centro de Vigilância Epidemiológica “Prof. Alexandre Vranjac”, do estado de São Paulo, nos períodos entre 2017 e 2019. A correlação foi calculada pelo coeficiente de Pearson e pela função de correlação cruzada. A acurácia foi analisada por valores de sensibilidade e especificidade.

Resultados

Houve correlação estatisticamente significante entre as variáveis estudadas para ambas as doenças, com coeficiente de Pearson de 0,91 para dengue e 0,86 para febre amarela. Foi identificada correlação com até 4 semanas de antecipação para séries temporais. A sensibilidade foi de 87% e 90% e a especificidade de 69% e 78% para dengue e febre amarela, respectivamente.

Conclusão

A incidência de dengue e febre amarela no estado de São Paulo apresentou forte correlação com a popularidade de seus termos medidos pelo Google Trends em períodos semanais. A ferramenta Google Trends forneceu alerta precoce, com alta sensibilidade, para a detecção de surtos dessas doenças.

Keywords: Doenças transmissíveis, Monitoramento epidemiológico, Vigilância da população, Ferramenta de busca, Tecnologia da informação, Previsões, Febre amarela, Dengue

INTRODUÇÃO

As doenças transmissíveis são uma ameaça à saúde dos indivíduos, principalmente nos países em desenvolvimento.(1) No Brasil, a dengue e a febre amarela são infecções de grande impacto na saúde da população.(2) A identificação precoce de surtos de doenças transmissíveis aumenta a possibilidade de controle da disseminação, com uso provável em intervenções para prevenção, isolamento e tratamento.(3)

A dengue é uma infecção aguda, com altas taxas de mortalidade,(4) transmitida predominantemente pelo mosquito Aedes aegypti,(5) cujos casos são classificados como sem sinais de alerta, com sinais de alerta e graves, de acordo com a Organização Mundial da Saúde (OMS). É a principal infecção por arbovírus no mundo,(6) e o Brasil é o país com o maior número de casos nesse século.(7,8) A febre amarela, uma infecção aguda, febril, hemorrágica e não contagiosa, responde por alta mortalidade na população da América do Sul e da África, desde o século 17.(9,10) Ela se manifesta em dois padrões de transmissão epidemiológica distintos: selvagem e urbano – ambos pelo Aedes aegypti.(10,11) De acordo com o Boletim Epidemiológico volume 51, publicado pelo Ministério da Saúde do Brasil, 714.164 casos prováveis de dengue foram identificados, e 298 mortes por dengue foram confirmadas de janeiro a maio de 2020. Entre julho de 2019 e maio de 2020, 812 casos de febre amarela foram registrados no país, dos quais 324 ocorreram no estado de São Paulo.

Devido ao impacto na saúde da população brasileira, a vigilância efetiva de casos de dengue e febre amarela é extremamente importante para o controle de epidemias.(3) No estado de São Paulo, o Centro de Vigilância Epidemiológica (CVE) “Prof. Alexandre Vranjac”, instituição subordinada à estrutura da Coordenadoria de Controle de Doenças (CDC), é responsável pela divulgação de relatórios periódicos sobre o status dessas doenças, por semana epidemiológica. No entanto, a presença de uma estrutura de vigilância efetiva não é homogênea em todos os estados do Brasil, e a subnotificação é um possível fator de falha para acurácia do número de casos.

Considerando-se os obstáculos presentes na vigilância epidemiológica de doenças transmissíveis, já foi sugerido o uso de ferramentas on-line como métodos complementares para obtenção de informações, que sinalizem possíveis surtos de doenças. Um estudo(12) com dados brasileiros usando a ferramenta Twitter demonstrou associação entre tweets e a dengue e levantou a possibilidade de essa ferramenta ser usada para estimar o número de casos semanalmente. O Plano de Contingência Nacional para Epidemias de Dengue, elaborado pelo Ministério da Saúde, também menciona o uso de tendências relativas de boatos no Twitter como indicadores para ações de resposta específicas. Nesse sentido, o Google Trends,(13) ferramenta que analisa a popularidade de termos de busca no Google,(14) em períodos e locais determinados, poderia ser útil para a vigilância de casos de dengue e febre amarela.

No Google Trends, a tendência de um determinado termo é exibida em uma escala de zero a cem, em que cem representa o maior volume de buscas para o termo em questão, em determinado local e período. Os resultados representam um valor relativo, que reflete o número de buscas realizadas para um termo específico, comparado ao total de número de buscas realizadas. Recentemente, as tentativas de usar esse instrumento para questões relativas à saúde têm sido mais frequentes. Estudos anteriores já analisaram a capacidade do Google Trends de prever epidemias de gripe na América Latina(15) e casos confirmados de Zika(16) e demonstraram correlação entre as tendências de termos e os casos de dengue no mundo.(17-20)

Sendo assim, considerando-se as evidências já publicadas, é importante avaliar a utilidade dessa plataforma para vigilância epidemiológica da dengue e da febre amarela.

OBJETIVO

Avaliar a acurácia do Google Trends para vigilância epidemiológica da dengue e da febre amarela e comparar a incidência dessas doenças com a popularidade de seus termos no estado de São Paulo.

MÉTODOS

O projeto foi realizado na Faculdade Israelita de Ciências da Saúde Albert Einstein (FICSAE - HIAE), de agosto de 2018 a agosto de 2019. Este projeto não precisou de aprovação do Comitê de Ética em pesquisa, porque usou somente dados de domínio público, sem envolver seres humanos. O desenho usado foi o de coorte retrospectiva. Os dados do Google Trends foram obtidos na plataforma on-line https://trends.google.com/trends/, que informa as tendências relacionadas à frequência de buscas dos respectivos termos no Google, em uma escala de zero a cem, na qual cem representa o maior volume de buscas pelo termo, em um determinado local e período. Os resultados representados como “<1” em termos de tendência foram arredondados para o valor de umx, com o objetivo de padronizar quantitativamente as informações, permitindo a análise estatística. Informações sobre a febre amarela foram obtidas com base no termo “febre amarela” no estado de São Paulo, por semana epidemiológica, de 1° de janeiro de 2017 a 19 de maio de 2018, em um total de 70 semanas, sendo 50 de 2017 e 20 de 2018. As semanas epidemiológicas 24 e 26, de 2017, foram excluídas da análise devido à falta de publicação de boletins epidemiológicos para esses períodos. Informações sobre a dengue foram obtidas com base no termo “dengue” no estado de São Paulo, por semana epidemiológica, de 31 de dezembro de 2017 a 30 de março de 2019, em um total de 65 semanas, sendo 52 de 2018 e 13 de 2019. A incidência de febre amarela e dengue no estado de São Paulo foi obtida no boletim epidemiológico divulgado pelo CVE da Secretária de Saúde do Estado de São Paulo, que lista o número total de casos nos períodos correspondentes.

Análise estatística

A associação entre as medições quantitativas dos métodos foi avaliada usando-se o coeficiente de correlação de Pearson e a análise de séries históricas.(21) A função de correlação cruzada permite avaliar a dependência temporal entre as séries de variáveis por meio dos valores de lag, que expressam o grau e a direção da associação. Um lag de -2 para um determinado coeficiente indica que os dados do Google Trends corresponderam a 2 semanas a menos que os registros do CVE. Isso quer dizer que a correlação do aumento nas tendências é notada 2 semanas antes do registro dos casos. Foram realizadas análises estatísticas com o programa RStudio,(22) e o nível de significância considerado foi 0,05.

A acurácia diagnóstica da ferramenta para detecção de epidemias no estado de São Paulo foi avaliada pela classificação das semanas epidemiológicas, quanto à presença ou à ausência de epidemias, e tendências nos termos do Google Trends, pela presença ou ausência de sinais de alerta. Com base nos dados de CVE, considerados o padrão-ouro, estabelecemos como limiares epidêmicos os números de casos de, no mínimo, três e 500, para febre amarela e dengue, respectivamente. Consideramos como sinal de alerta valores de tendências de, no mínimo, quatro e cinco, para febre amarela e dengue, respectivamente. A comparação entre esses dados permitiu o cálculo dos valores de sensibilidade e especificidade.

RESULTADOS

As figuras 1 e 2 representam a incidência de doenças e seus termos no Google Trends para dengue e febre amarela, respectivamente. Na figura 1, a epidemia de dengue foi determinada a partir da semana 50, quando ocorreram 798 casos. Na figura 2, há duas epidemias de febre amarela, uma começando na semana 11 e outra na semana 50, ambas com três casos.

Figura 1. Casos e trends para dengue, por semana epidemiológica.

Figura 1

Open in a new tab

Figura 2. Casos e trends para febre amarela, por semana epidemiológica.

Figura 2

Open in a new tab

As figuras 3 e 4 representam gráficos de dispersão entre a incidência da doença e os termos de busca no Google Trends para dengue e febre amarela, respectivamente. Houve correlação estatisticamente significativa (p<0,0001) para ambas as doenças. No caso da dengue, o coeficiente de Pearson foi 0,91; para a febre amarela, o coeficiente foi 0,86. Os resultados dessas análises são mostrados na tabela 1. A análise de correlação cruzada mostrou correlação estatisticamente significativa para até 4 semanas de deslocamento entre as séries históricas, conforme mostrado na tabela 2.

Figura 3. Gráfico de dispersão para dengue. As estatísticas representam o teste de correlação de Pearson.

Figura 3

Open in a new tab

Figura 4. Gráfico de dispersão para febre amarela. As estatísticas representam o teste de correlação de Pearson.

Figura 4

Open in a new tab

Tabela 1. Resultados dos testes de correlação de Pearson.

Doença Coeficiente IC95%
Dengue 0,91 0,86-0,94
Febre amarela 0,86 0,78-0,91
Open in a new tab

IC95%: intervalo de confiança de 95%. Correlação entre a incidência dessas doenças e os resultados de buscas no Google Trends para termos a elas relacionados.

Tabela 2. Coeficientes de correlação cruzada.

Lag em semanas Dengue Febre amarela
-4 0,46* 0,27*
-3 0,56* 0,30*
-2 0,67* 0,45*
-1 0,79* 0,68*
0 0,91* 0,86*
Open in a new tab

* Significativo em p≤0,05. Correlação entre a incidência dessas doenças e os resultados de buscas no Google Trends para termos a elas relacionados, com avaliação da dependência temporal com base em valores de lag.

Para avaliar a acurácia do Google Trends para detecção de epidemias, os valores de positivos-verdadeiros, falsos-positivos, negativos-verdadeiros e falsos-negativos foram calculados, conforme mostrado na tabela 3. A partir desses dados, foram calculadas sensibilidade de 87% e especificidade de 69% para dengue, e sensibilidade de 90% e especificidade de 78%, para febre amarela.

Tabela 3. Cruzamento para avaliação de acurácia diagnóstica.

Dengue Febre amarela
Alerta do Google Trends Epidemia Alerta do Google Trends Epidemia
Presente Ausente Presente Ausente
Presente 14 15 Presente 18 10
Ausente 2 34 Ausente 2 35
Open in a new tab

Comparação entre a classificação de semanas epidemiológicas, pela presença ou ausência de epidemias, e tendências nos termos do Google Trends, pela presença ou ausência de sinais de alerta.

DISCUSSÃO

O Google Trends permite a avaliação do comportamento humano e a previsão de problemas de saúde, tendo sido foi demonstrado que a sazonalidade observada nas buscas on-line está relacionada a casos das doenças estudadas.(23) Métodos estatísticos e abordagens para esse tipo de análise já foram descritos em revisões sistemáticas.(24)

O presente estudo demonstrou que os dados obtidos com a ferramenta tiveram forte correlação com a incidência de febre amarela no estado de São Paulo, na avaliação em intervalos semanais. Essa alta correlação entre os casos de dengue e o Google Trends já foi identificada na Indonésia,(18) nas Filipinas(19) e na Índia.(20) Usando dados do Brasil, Yang et al.,(17) compararam levantamentos de casos de dengue fornecidos pelo Ministério da Saúde, mensalmente, de janeiro de 2001 a dezembro de 2012, e encontraram correlação de 0,971, semelhante ao resultado da presente pesquisa. No entanto, este estudo é o primeiro a demonstrar essa correlação com dados brasileiros de base semanal. Essa abordagem possibilitou avaliação de séries históricas já realizadas em outros países(18-20) e demonstrou correlação moderada antes que a epidemia ocorresse, com até 4 semanas de diferença para dengue e 3 semanas para febre amarela. Isso indica que a ferramenta tem a habilidade de fornecer um alerta precoce, permitindo que as autoridades tomem medidas para prever a propagação dessas doenças.

Outros estudos avaliaram o Google Trends usando dados brasileiros de outras doenças. Um estudo(15) avaliou a capacidade de previsão de epidemias de gripe na América Latina, comparando-se a proporção de casos na plataforma FluNet, entre janeiro de 2011 e dezembro de 2014, com dados do Google Trends, e os coeficientes de correlação de Pearson estiveram entre 0,48, em 2012, e 0,61, em 2014, no Brasil. Este artigo encontrou imprecisão considerável do Google Trends comparada a FluNet, muito provavelmente devido ao acesso limitado à Internet em algumas regiões. Destacou também as limitações da FluNet devido à dimensão geográfica do Brasil, bem como por sua diversidade ecológica e demográfica. Outro estudo(16) analisou a capacidade de previsão de casos confirmados de Zika no Brasil e demonstrou que o Google Trends conseguiu prever a epidemia com 1 semana de antecipação.

Diferente do estudo de Marques-Toledo et al.,(12) que desenvolveram um modelo para prever o número de casos de dengue com base em dados da rede social Twitter, este estudo propõe um uso diferente das ferramentas on-line. Acredita-se que a maior importância desses instrumentos está na identificação da ocorrência de epidemias, e não necessariamente na previsão do número de casos. Portanto, este estudo é o primeiro a analisar a acurácia do Google Trends na identificação de surtos de doenças. Foi observada alta sensibilidade para febre amarela (0,90) e dengue (0,87), indicando utilidade prática da ferramenta, principalmente porque, para fins de previsão, a sensibilidade é mais útil que a especificidade, já que a primeira indica baixa probabilidade de falsos-negativos e de casos perdidos. Portanto, a ferramenta pode ser muito útil, principalmente em estados com sistemas de vigilância epidemiológica menos eficazes, como uma análise complementar aos métodos disponíveis.

Outra utilidade relevante do Google Trends relativa à saúde poderia ser a avaliação de doenças que não estejam no escopo das instituições de vigilância epidemiológica. A ferramenta também poderia ser consideravelmente útil para o monitoramento de reações adversas incomuns e novos efeitos benéficos de medicamentos, bem como para avaliar a minimização de doses efetivas (estudos de Fase IV), após a inserção de medicamentos no mercado.

Limitações

Existem algumas limitações nos métodos de análise empregados neste estudo, para verificar a incidência da doença como causa do aumento das tendências de termos relacionados, devido à existência de outros mecanismos de associação entre duas variáveis, como acaso ou confusão. Como as tendências do Google Trends são determinadas pelos interesses dos usuários da Internet, elas podem produzir uma correlação aleatória, não necessariamente decorrente da incidência das doenças. No entanto, o maior volume de pesquisas reduz significativamente a probabilidade de erros, devido ao fator acaso. Além disso, pode haver outras variáveis responsáveis por induzir uma confusão positiva, como campanhas de conscientização conduzidas no momento de pico da incidência da doença ou menções na mídia, o que aumenta o interesse público e, consequentemente, a frequência de buscas.

Enfatiza-se também que, como o uso da ferramenta Google Trends depende do acesso à Internet, regiões menos favorecidas apresentam taxas de busca mais baixas, mesmo com alta incidência de determinada doença, o que limita a aplicabilidade deste instrumento.

CONCLUSÃO

O estudo demonstrou correlação significativa entre os dados gerados pela ferramenta Google Trends e a incidência de dengue e febre amarela no estado de São Paulo na avaliação em intervalos semanais. A maior frequência de buscas serviu como alerta precoce para surtos dessas doenças e demonstrou alta sensibilidade para a detecção de epidemias. São necessárias mais pesquisas para confirmar estes achados para outras doenças e localidades, mas as conclusões apontam para a possibilidade de se usar essa ferramenta como método simples e barato de vigilância epidemiológica.

Articles from Einstein are provided here courtesy of Instituto de Ensino e Pesquisa Albert Einstein

RESOURCES