Skip to main content
PMC home page
Revista Peruana de Medicina Experimental y Salud Publica logoLink to Revista Peruana de Medicina Experimental y Salud Publica
. 2024 Mar 26;41(1):76–82. doi: 10.17843/rpmesp.2024.411.13046
View full-text in Spanish

Diagnostic performance of a point-of-care molecular system for the detection of SARS-CoV-2 in Peru

Zully M Puyén 1,2, Roger Araujo-Castillo 1, Jorge Giraldo 1, Karina Gutierrez 1, Nancy Rojas-Serrano 1
PMCID: PMC11149772  PMID: 38808849

ABSTRACT

The present study assessed the diagnostic performance of the Xpert®Xpress SARS-CoV-2 test in comparison with the Charité protocol real-time RT PCR for the detection of SARS-CoV-2 in Peruvian patients. This was a diagnostic test study that included 100 nasal and pharyngeal swab samples. We obtained an overall concordance of 98.70% (95%CI: 92.98-99.97), with a kappa coefficient of 0.97 (95%CI: 0.86-1.00) and sensitivity and relative specificity rates of 100% and 96.15%, respectively. Additionally, the percentage of the area under the ROC curve was 98.08% in both cases, and an analytical specificity rate of 100% was obtained for the different respiratory viruses evaluated. In conclusion, the Xpert®Xpress SARS-CoV-2 test, by using nasal and pharyngeal swab samples, was highly sensitive and specific, and the kappa coefficient showed an excellent correlation when compared to the reference test.

Keywords: SARS-CoV-2, COVID-19, Molecular Diagnostic Techniques, PCR, Sensitivity and Specificity, Peru

INTRODUCTION

In 2019, the first cases of coronavirus disease (COVID-19) were reported in Wuhan province, China. Subsequently, SARS-CoV-2 virus was identified as the causative agent 1, and at the end of February 2020 it was declared a pandemic by the World Health Organization (WHO) 2. To control this pandemic, one of the key points was the development and implementation of technologies for the detection of the virus causing the disease, which led to the development of molecular tests that aided in the rapid and timely detection of SARS-CoV-2 3. Different platforms were designed with the aim of finding an alternative that was fast, easy to implement, and efficient. However, most of them require complex infrastructure and highly trained personnel, which in many cases limits the decentralization of molecular testing in Peru.

The GeneXpert platform is a fully automated closed system based on real-time PCR, which integrates in a single system and automates all the procedures of sample preparation, nucleic acid extraction and amplification, as well as target sequence detection 4,5. This system requires the use of disposable cartridges that include the necessary controls to validate the sample run, as well as the detection of target genes. In Peru, by the end of 2020, 38 laboratories had been implemented with this platform by the National Institute of Health (INS) for use in the detection of tuberculosis and/or HIV viral load 6,7. For this reason, one of the intervention strategies was the implementation of the Xpert Xpress SARS-CoV-2 cartridge 4, which was developed for the molecular detection of the virus causing COVID-19.

The Xpert Xpress SARS-CoV-2 cartridge specifically detects two very important target genes, namely “N2” (protein nucleocapsid) and “E” (protein envelope), increasing the sensitivity of the test for the detection of SARS-CoV-2 8,9. The performance obtained for this test in terms of concordance was 100% in agreement with the assay performed using a quantified reference material of virus particles. Likewise, the analytical limit of detection (LoD) was established, which, according to the manufacturer, was 0.02 PFU/ml 4.

In view of the above, this study aimed to evaluate the diagnostic performance of the real-time automated nucleic acid amplification test (Xpert®Xpress SARS-CoV-2) in comparison with real-time RT PCR - Charité protocol 3, for the qualitative molecular detection of SARS-CoV-2 (COVID-19), from nasal and pharyngeal swab samples contained in universal viral transport medium from Peruvian patients.

KEY MESSAGES

Motivation for the study: To describe and evaluate a closed molecular platform, easy to use and of importance in Peru for the management of diseases of public health priority, now implemented for the detection of SARS-CoV-2.

Main findings: Highly sensitive and specific molecular test, with excellent correlation compared to the reference test for detecting SARS-CoV-2.

Implications: Can be used in point-of-care laboratories for rapid molecular detection of different infectious agents, including SARS-CoV-2. Little expertise and minimal infrastructure are required to implement it.

THE STUDY

Design and samples

This was an observational, cross-sectional study designed as a diagnostic test evaluation, which was carried out using nasal and pharyngeal swab samples contained in universal transport media collected in 2020 from Peruvian patients and stored in the INS sample bank. These previously tested positive or negative by real-time RT-PCR for SARS-CoV-2.

The Epidat 4.2 program was used to calculate the sample size. Considering a confidence level of 95%, that the RT-PCR classified 50% of samples as positive (50 positive and 50 negative) 10, and assuming that the automated amplification test classified a similar number as positive; then a sample size of 100 samples allows finding a Cohen’s kappa coefficient of 0.90 with a precision of +/- 0.085; a lower precision would have meant requiring less sample. The expected kappa coefficient corresponded to a very good correlation, close to the 0.98 reported by Zheng et al. 11. Finally, the selected samples were previously identified as positive (n=52) and negative (n=50) for SARS-CoV-2 by real-time RT-PCR. Among these 50 negative samples, 25 were positive for other viruses in order to evaluate cross-reactivity.

RT-PCR platforms and instruments

Real-time RT-PCR

RNA extraction was performed according to the manufacturer’s specifications with the QIAamp Viral RNA Mini kit either manually or using the QIACUBE® automated kit. For SARS-CoV-2 detection, the extract was subjected to real-time RT PCR-Charité protocol 3 and real-time RT-PCR using primers and probes specific for SARS-CoV-2 RdRP and human GAPDH genes 12. Multiplex real-time RT-PCR in TaqMan system (qRT-PCR_Multiplex) was used for the detection of influenza A and influenza B viruses (13. Finally, for the detection of respiratory syncytial virus, human rhinovirus and metapneumovirus, we used a multiplex RT-PCR for other respiratory viruses designed at the INS of Peru.

Automated Real-Time Nucleic Acid Amplification Assay

Xpert® Xpress SARS-CoV-2 was performed according to the manufacturer’s instructions 4. Briefly, 300 µL of sample was added to the cartridge, which was closed and then placed in a GeneXpert IV kit to perform the test. The cartridges include two internal controls (SPC -sample processing control- and PCC -probe check control-) that ensure the correct functioning of the test 5. SARS-CoV-2 detection is based on the identification of two genes: “N2” (protein nucleocapsid) and “E” (protein envelope), which are used for the interpretation of results. The results are automatically generated by the GeneXpertTM DX Software version 6.2. Results are reported qualitatively, and the analyzed samples are considered positive when both N2 and E genes are detected or when only N2 is detected. When only the E gene was detected, the manufacturer’s recommended interpretation was a presumptive positive result; however, it was considered positive during the pandemic. This is because, at the beginning of the pandemic, there were molecular detection tests designed for betacoronaviruses, and SARS-CoV-2 was the most prevalent virus of this genus during the pandemic, so at that time the implementation of confirmation by detection of a single genetic marker was recommended, taking into account that the curves, as well as other quality assurance parameters, were optimal. PCR of the E gene showed better sensitivity, so it was recommended to prioritize the E gene as the selected marker 14. However, later tests based on protein S began to be performed, which were more specific, and that is why, this type of markers were additionally included for detection for the later tests.

Statistical analysis

Stata v15.1 (Stata Corporation, College Station, Texas, USA) was used for data analysis. Qualitative variables were reported as absolute and relative frequencies. Numerical variables were described with median and interquartile range (IQR), because the small sample size does not guarantee a normal distribution; and with range of minimum and maximum values. Concordance, relative diagnostic performance, Cohen’s kappa coefficient, with 95% confidence intervals were analyzed. Likewise, relative sensitivity (percentage of positive concordance) and relative specificity (percentage of negative concordance) were obtained using real-time RT-PCR as an imperfect reference standard, since the ideal reference standard is virus isolation in cell culture from different patient samples; however, due to the complexity of the procedure this is not usually used, so real-time RT-PCR was used as a surrogate. The area under the ROC (Receiver operating characteristic) curve was also calculated as a percentage with its respective confidence interval.

On the other hand, analytical specificity was obtained using only RT-PCR negative tests for SARS-CoV-2 but positive for other respiratory viruses. All evaluations were performed at a significance level of 0.05. The different obtained parameters were compared by evaluating their cross-confidence intervals. If their 95% confidence intervals did not cross, they were considered statistically different.

Ethical aspects

This study was approved by the INS ethics committee, with document No. RD: 176-2020-OGITT/INS.

RESULTS

We included 102 samples, 77 from COVID-19 suspect patients, collected between April and September 2020; and 25 from pre-pandemic samples stored at -80 °C in the INS sample bank. The former were used to calculate the relative performance of automated amplification, and the latter to evaluate the analytical specificity of the test. Of the first group, 52 were positive and 25 were negative for SARS-CoV-2 RT-PCR.

Of the samples, 55.8% (43/77) came from males. Women had a median age of 40.5 years (IQR: 34-49, minimum-maximum: 0-60), and men, 47 years (IQR: 38-56, minimum-maximum: 3-85). Out of the samples from pre-pandemic patients, 44.0% were women (11/25). There was only one discrepancy when comparing both tests in patients with clinical suspicion of COVID-19, with one sample being negative by RT-PCR and positive by automated amplification. This yielded an overall concordance of 98.70% (95%CI: 92.98-99.97), with a kappa coefficient of 0.97 (95%CI: 0.86-1.00), corresponding to an excellent correlation. The numbers were very similar when two “presumptive positives” in the automated amplification test, initially considered as positive, were excluded (Table 1 and 2).

Table 1. Comparison of results obtained by automated amplification for the detection of SARS-CoV-2, with the real-time RT-PCR test.

Positivity criterion Automated amplification result Results of Real-time RT-PCR
Positive Negative Total
Suspected positives are considered positive Positive 51 1 52
Negative 0 25 25
Total 51 26 77
Suspected positives are excluded from the test Positive 49 1 50
Negative 0 25 25
Total 49 26 75
Open in a new tab

Table 2. Diagnostic performance of automated amplification for the detection of SARS-CoV-2 compared to real-time RT-PCR.

SARS-COV-2 detection
N a Result (%) 95%CI
Considering presumptive positive results
Overall concordance 76/77 98.70 92.98-99.97
Cohen’s kappa coefficient 0.97 0.86-1.00
Area under ROC curve 98.08 94.31-100.00
Relative sensitivity 51/51 100.00 93.02-100.00
Relative specificity 25/26 96.15 80.36-99.90
Excluding presumptive positive results
Overall concordance 74/75 98.67 92.79-99.97
Cohen’s kappa coefficient 0.97 0.85-1.00
Area under ROC curve 98.08 94.31-100.00
Relative sensitivity 49/49 100.00 92.75-100.00
Relative specificity 25/26 96.15 80.36-99.90
Open in a new tab
a

Data evaluated for the specific analysis; 95%CI: 95% confidence interval.

ROC: Receiver operating characteristic

The relative performance evaluation with respect to real-time RT-PCR for SARS-CoV-2 showed a relative sensitivity of 100%, both when all samples were included and when the two “presumptive positives” in the amplification test were excluded. The relative specificity was 96.15% and the % area under the ROC curve was 98.08% in both cases (Table 1 and 2).

In addition, Table 3 presents the medians with their IQRs for the RdRP, ORF1a, E, and N genes from the real-time RT-PCR, and for the N2, and E genes from the automated amplification platform used. Overall, we found a wide range of values for all the evaluated genes.

Table 3. Median Ct values of positive tests to the different genes used by real-time RT-PCR and automated amplification for SARS-CoV-2 detection.

Platform Gen N Median IQR Min-max
Real-time RT-PCR RDRP 32 22.83 17.71-26.23 10.52-30.55
ORF 18 21.05 16.82-25.40 13.25-31.81
GEN_E 26 28.05 23.97-31.97 12.51-38.28
GEN_N 25 21.62 18.44-27.80 14.67-34.89
Automated amplification N2_XPERT 50 27.45 21.40-30.70 12.00-39.80
E_XPERT 49 26.10 18.50-28.50 11.00-44.60
Open in a new tab

IQR: interquartile range; Min-max: minimum value and maximum value

Finally, the analytical specificity was 100% for all included respiratory viruses, including respiratory syncytial virus (5/5), human rhinovirus (6/6), metapneumovirus (5/5), influenza A virus (5/5), and influenza B virus (5/5) (Table 4).

Table 4. Analytical specificity of automated amplification for SARS-CoV-2 detection, relative to real-time RT-PCR, for different respiratory viruses.

SARS-CoV-2 Analytical specificity
Real-time RT-PCR Automated amplification
Positive Negative Positive Negative
Respiratory Syncytial Virus (RSV) 0 5 0 5 100.0%
Human Rhinovirus (HRV) 0 6 0 6 100.0%
Metapneumovirus (MPVH) 0 5 0 5 100.0%
Influenza A virus (FLU-A) 0 5 0 5 100.0%
Virus influenza B (FLU-B) 0 5 0 5 100,0%
Open in a new tab

DISCUSSION

The automated real-time nucleic acid amplification test (Xpert® Xpress SARS-CoV-2) is easy to handle and use. It has demonstrated high diagnostic performance and concordance with the real-time RT-PCR test for the qualitative molecular detection of the virus causing COVID-19 from nasal and pharyngeal swab samples. In addition, it has zero probability of cross-contamination between samples, since all the processes are included in a single cartridge.

Xpert® Xpress SARS-CoV-2 requires minimal infrastructure and biosafety conditions, since it is a fully automated procedure in which the laboratory technician is involved only when loading the sample 4. In addition, the short time to obtain results can become an important and vital advantage for patient management. Likewise, this test is highly sensitive, which is supported by its established detection limit of 0.01 plaque forming units (PFU)/ml 15.

Different studies have evaluated the performance of this test, finding highly concordant results 16-18. In addition, we did not find cross-reaction, which is in agreement with the findings of Wolters et al. 17.

On the other hand, we found a discordant result when both tests were evaluated. While the reference method was negative, the evaluated method was positive for the same sample. This could be due to a higher sensitivity of the evaluated method, which could be detecting a lower amount of RNA than the reference method, which is directly related to the detection limit of the test. This fact has already been evidenced in several publications 11,19. In these cases, the result was first reported as indeterminate, then a third test was performed to determine the patient’s final result. As far as possible, this third test should be different from those previously used.

When analyzing the Cycle threshold (CT), the low viral loads found in this study may be due to different factors, such as very early or very late sampling considering the course of the disease, problems during sampling, transport and preservation of the samples, or low levels of viral spread in general. On the other hand, high viral loads may have been obtained in settings where viral spread in the community was active and high. The understanding of viral load levels and the effect this may have on the patient has been very controversial, and different studies in this regard have shown contradictory results 20,21.

Additionally, this test, by having two detection genes, the E gene and the N2 gene, provided significant sensitivity compared to the reference method 4. The E gene allows the detection of different SARS (bat coronaviruses), including SARS-CoV-2, so the probable effects of genetic drift can be avoided. Moreover, our results show a wide variation in the viral load obtained (TC values obtained) among the samples that were selected for this study.

Therefore, the evaluated platform offers highly efficient results for the detection of SARS-CoV-2. Its strength lies in the fact that it can be used in a decentralized manner and with fewer resources (human resources, infrastructure, equipment, among others) compared to a traditional real-time RT-PCR. In addition, it works as a multiplatform for the detection of other agents of public health importance from different types of samples. Considering that more than 50 laboratories with this platform have been implemented in Peru by the end of 2023, it could be a potentially useful strategy to establish a significant overall impact in the country, prioritizing those establishments where rapid results are required, such as, for example, hospitals with intensive care in high prevalence environments for the main diseases affecting public health in the country.

The main limitation of the study is that the ideal reference standard was not used, which is the isolation of the virus in cell culture from different samples of a patient; instead, we used the closest standard, such as Rt-PCR, which has been used in multiple studies 16-19. Another limitation is that we did not have data regarding the patient’s disease, such as symptoms, disease duration, or severity. Even so, we consider that these factors affect the evaluated platform and the reference standard equally, so the results are still reliable. On the other hand, it should also be considered that the costs that this platform requires in terms of supplies, equipment and maintenance are still high. Therefore, its prioritization could be a good strategy to address different diseases, accompanied by other technologies that could massively address different diseases.

Finally, we conclude that the diagnostic performance of the Xpert® Xpress SARS-CoV-2 test, in comparison with the reference real-time RT-PCR method for the detection of COVID-19 virus from nasal and pharyngeal swab samples, was highly efficient in terms of sensitivity and specificity. The results obtained for sensitivity and specificity were 100% and 96%, respectively, reaching an excellent correlation according to the results obtained by the kappa coefficient. Likewise, as it is a highly efficient test and easy to implement and use, its decentralized and prioritized use at the points of patient care is recommended.

Acknowledgements.

We thank all the personnel working in the Peruvian National Network of Respiratory Virus Laboratories, including the personnel of the National Referral Laboratory, for the routine work performed in the isolation and identification of SARS-CoV-2 from the samples included in this study.

Funding Statement

Instituto Nacional de Salud del Perú y la Dirección de Investigación de la Universidad Peruana de Ciencias Aplicadas (A-052-2021-2)

Funding.: This research was funded by the Instituto Nacional de Salud del Perú and the Dirección de Investigación de la Universidad Peruana de Ciencias Aplicadas (A-052-2021-2).

Cite as.

Puyén ZM, Araujo-Castillo R, Giraldo J, Gutierrez K, Rojas-Serrano N. Diagnostic performance of a point-of-care molecular system for the detection of SARS-Co-2 in Peru. Rev Peru Med Exp Salud Publica. 2024;41(1):76-82. doi: https://doi.org/10.17843/rpmesp.2024.411.13046.

References

  • 1.He F, Deng Y, Li W. Coronavirus disease 2019: What we know? J Med Virol. 2020;92(7):719–725. doi: 10.1002/jmv.25766. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 2.Yuen KS, Ye ZW, Fung SY, Chan CP, Jin DY. SARS-CoV-2 and COVID-19 The most important research questions. Cell Biosci. 2020;10:40–40. doi: 10.1186/s13578-020-00404-4. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 3.Pan American Health Organization . Laboratory Guidelines for the Detection and Diagnosis of COVID-19 Virus Infection. DC: PAHO; 2020. [28 de junio de 2023]. Disponible en: https://www.paho.org/en/documents/laboratory-guidelines-detection-and-diagnosis-covid-19-virus-infection . [Google Scholar]
  • 4.Xpert Xpress SARS-Cov-2 . Test package insert. Sunnyvale, CA: Cepheid; 2021. [28 de junio de 2023]. Disponible en: https://www.fda.gov/media/136314/download . [Google Scholar]
  • 5.World Health Organization . Xpert MTB/RIF implementation manual: technical and operational 'how-to'; practical considerations. Ginebra: WHO; 2014. [28 de junio de 2023]. Disponible en: https://apps.who.int/iris/handle/10665/112469 . [PubMed] [Google Scholar]
  • 6.Haraka F, Kakolwa M, Schumacher SG, Nathavitharana RR, Denkinger CM, Gagneux S. Impact of the diagnostic test Xpert MTB/RIF on patient outcomes for tuberculosis. Cochrane Database Syst Rev. 2021;5(5):CD012972–CD012972. doi: 10.1002/14651858.CD012972.pub2. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 7.Nash M, Huddart S, Badar S, Baliga S, Saravu K, Pai M. Performance of the Xpert HIV-1 Viral Load Assay a Systematic Review and Meta-analysis. J Clin Microbiol. 2018;56(4):e01673–e01617. doi: 10.1128/JCM.01673-17. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 8.Raja S, Ching J, Xi L, Hughes SJ, Chang R, Wong W. Technology for automated, rapid, and quantitative PCR or reverse transcription-PCR clinical testing. Clin Chem. 2005;51(5):882–890. doi: 10.1373/clinchem.2004.046474. [DOI] [PubMed] [Google Scholar]
  • 9.Wang W, Xu Y, Gao R, Lu R, Han K, Wu G. Detection of SARS-CoV-2 in Different Types of Clinical Specimens. JAMA. 2020;323(18):1843–1844. doi: 10.1001/jama.2020.3786. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 10.FIND . COVID-19 NAT Evaluation Protocol Summary. Geneva: FIND; 2020. [28 de junio de 2023]. Disponible en: https://www.finddx.org/wp-content/uploads/2020/04/20200405-NAT-COVID-19-Evaluation-Synopsis.pdf . [Google Scholar]
  • 11.Zhen W, Smith E, Manji R, Schron D, Berry GJ. Clinical Evaluation of Three Sample-to-Answer Platforms for Detection of SARS-CoV-2. J Clin Microbiol. 2020;58(8):e00783–e00720. doi: 10.1128/JCM.00783-20. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 12.Rojas-Serrano N, Lope-Pari P, Huaringa-Nuñez M, Marques Simas PV, Palacios-Salvatierra R, Balbuena-Torres J, et al. Validation and evaluation of RT-PCR real-time in-house test to detection of SARS-CoV-2 using specific RdRp gene and GAPDH endogen control. Rev Peru Med Exp Salud Publica. 2021;38(4):595–600. doi: 10.17843/rpmesp.2021.384.7596. [DOI] [PubMed] [Google Scholar]
  • 13.Marcos P, Huaringa M, Rojas N, Gutiérrez V, Ruiton S, Gallardo E. Detección de virus influenza A, B y subtipos a (H1N1) pdm09, A (H3N2) por múltiple rt-pcr en muestras clínicas. Rev Peru Med Exp Salud Publica. 2017;34(2):192–200. doi: 10.17843/rpmesp.2017.342.2054. [DOI] [PubMed] [Google Scholar]
  • 14.Pan American Health Organization . Directrices de laboratorio para la detección y el diagnóstico de la infección por el virus responsable de la COVID-19, 8 de julio del 2020. DC: PAHO; 2020. [28 de junio de 2023]. Disponible en: https://iris.paho.org/handle/10665.2/52471 . [Google Scholar]
  • 15.Loeffelholz MJ, Alland D, Butler-Wu SM, Pandey U, Perno CF, Nava A. Multicenter Evaluation of the Cepheid Xpert Xpress SARS-CoV-2 Test. J Clin Microbiol. 2020;58(8):e00926–e00920. doi: 10.1128/JCM.00926-20. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 16.Vaz SN, Santana DS, Netto EM, Wang WK, Brites C. Validation of the GeneXpert Xpress SARS-CoV-2 PCR assay using saliva as biological specimen. Braz J Infect Dis. 2021;25(2):101543–101543. doi: 10.1016/j.bjid.2021.101543. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 17.Wolters F, Van de Bovenkamp J, Van den Bosch B, Van den Brink S, Broeders M, Chung NH, et al. Multi-center evaluation of cepheid xpert(r) xpress SARS-CoV-2 point-of-care test during the SARS-CoV-2 pandemic. J Clin Virol. 2020;128:104426–104426. doi: 10.1016/j.jcv.2020.104426. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 18.Moran A, Beavis KG, Matushek SM, Ciaglia C, Francois N, Tesic V. Detection of SARS-CoV-2 by Use of the Cepheid Xpert Xpress SARS-CoV-2 and Roche cobas SARS-CoV-2 Assays. J Clin Microbiol. 2020;58(8):e00772–e00720. doi: 10.1128/JCM.00772-20. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 19.Lieberman JA, Pepper G, Naccache SN, Huang ML, Jerome KR, Greninger AL. Comparison of Commercially Available and Laboratory-Developed Assays for In Vitro Detection of SARS-CoV-2 in Clinical Laboratories. J Clin Microbiol. 2020;58(8):e00821–e00820. doi: 10.1128/JCM.00821-20. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 20.Lui G, Ling L, Lai CK, Tso EY, Fung KS, Chan V. Viral dynamics of SARS-CoV-2 across a spectrum of disease severity in COVID-19. J Infect. 2020;81(2):318–356. doi: 10.1016/j.jinf.2020.04.014. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 21.Liu Y, Yan LM, Wan L, Xiang TX, Le A, Liu JM. Viral dynamics in mild and severe cases of COVID-19. Lancet Infect Dis. 2020;20(6):656–657. doi: 10.1016/S1473-3099(20)30232-2. [DOI] [PMC free article] [PubMed] [Google Scholar]
Rev Peru Med Exp Salud Publica. 2024 Mar 26;41(1):76–82. [Article in Spanish]

Rendimiento diagnóstico de un sistema molecular de uso en el punto de atención para la detección de SARS-CoV-2 en Perú

Zully M Puyén 1,2, Roger Araujo-Castillo 1, Jorge Giraldo 1, Karina Gutierrez 1, Nancy Rojas-Serrano 1

RESUMEN

En el presente estudio se estimó el rendimiento diagnóstico de la prueba Xpert®Xpress SARS-CoV-2 en comparación con la RT PCR en tiempo real-protocolo Charité, para la detección de SARS-CoV-2 en pacientes peruanos. Se trató de un diseño de prueba diagnóstica que incluyó 100 muestras de hisopado nasal y faríngeo. Se obtuvo una concordancia global de 98,70% (IC95%: 92,98-99,97), con un coeficiente kappa de 0,97 (IC95%: 0,86-1.00); se estimó una sensibilidad y especificad relativa de 100% y 96,15%, respectivamente. Adicionalmente, el porcentaje del área bajo la curva ROC fue 98,08% en ambos casos y se obtuvo una especificidad analítica del 100% para los diferentes virus respiratorios evaluados. En conclusión, la prueba Xpert®Xpress SARS-CoV-2 a partir de muestras de hisopado nasal y faríngeo fue altamente sensible y específica, así mismo el coeficiente kappa mostró una excelente correlación, al compararla con la prueba de referencia.

Palabras clave: SARS-CoV-2, COVID-19, Técnicas de Diagnóstico Molecular, PCR, Sensibilidad y Especificidad, Perú

INTRODUCCIÓN

En 2019 se presentaron los primeros casos de la enfermedad causada por el coronavirus (COVID-19) en la provincia de Wuhan, China. Posteriormente, se identificó al virus del SARS-CoV-2 como agente causal 1, y a finales de febrero de 2020 fue declarada pandemia por la Organización Mundial de la Salud (OMS) 2. Para controlar esta pandemia, uno de los puntos clave fue el desarrollo e implementación de diversas tecnologías para la detección del virus causante de la enfermedad, lo que llevó al desarrollo de pruebas moleculares que ayudaron a una detección rápida y oportuna del SARS-CoV-2 3. Se diseñaron diferentes plataformas con la finalidad de encontrar una alternativa que fuera rápida, de fácil implementación y eficiente. Sin embargo, la mayoría de ellas requieren una infraestructura compleja y personal altamente capacitado, lo cual en muchos casos limita la descentralización de las pruebas moleculares en el Perú.

La plataforma GeneXpert es un sistema cerrado completamente automatizado basado en una PCR en tiempo real, que integra en un solo sistema y automatiza todos los procedimientos de preparación de muestras, extracción y amplificación de ácidos nucleicos, y la detección de las secuencias diana 4,5. Este sistema requiere el uso de cartuchos desechables que incluyen los controles necesarios para validar la corrida de una muestra, así como la detección de los genes diana. En el Perú hasta finales del 2020 se tenían 38 laboratorios implementados con esta plataforma por el Instituto Nacional de Salud (INS) para su utilización en la detección de tuberculosis y/o carga viral de VIH 6,7. Es por ello que una de las estrategias de intervención fue la implementación del cartucho Xpert Xpress SARS-CoV-2 4, el cual fue desarrollado para la detección molecular del virus causante de la COVID-19.

El cartucho Xpert Xpress SARS-CoV-2 detecta específicamente dos genes diana muy importantes, como son el «N2» (nucleocápside proteica) y el «E» (envoltura proteica), aumentando la sensibilidad de la prueba para la detección del SARS-CoV-2 8,9. El rendimiento obtenido para esta prueba en términos de concordancia fue del 100% de acuerdo con el ensayo realizado utilizando un material de referencia cuantificado de partículas del virus. Asimismo, se estableció el límite analítico de detección (LoD), el cual, según el fabricante, finalmente fue de 0,02 UFP/ml 4.

Por todo lo dicho previamente, el objetivo del presente estudio fue evaluar el rendimiento diagnóstico de la prueba de amplificación automatizada del ácido nucleico en tiempo real (Xpert®Xpress SARS-CoV-2) en comparación con la RT PCR en tiempo real-protocolo Charité 3, para la detección cualitativa molecular de SARS-CoV-2 (COVID-19), a partir de muestras de hisopado nasal y faríngeo, contenidas en medio de transporte viral universal de pacientes peruanos.

MENSAJE CLAVE

Motivación para realizar el estudio: Descripción y evaluación de una plataforma molecular cerrada, de fácil uso y de importancia en el Perú para el manejo de enfermedades de prioridad en salud pública, ahora implementada para la detección de SARS-CoV-2.

Principales hallazgos: Prueba molecular altamente sensible y específica, con una correlación excelente con respecto al referente para detectar SARS-CoV-2.

Implicancias: Puede ser utilizada en los laboratorios que se encuentran en los puntos de atención del paciente para la detección molecular rápida de diferentes agentes infecciosos, incluido el SARS-CoV-2. Se necesita poca experticia y mínima infraestructura para poder implementarla.

EL ESTUDIO

Diseño y muestras

El estudio fue de tipo observacional, transversal y el diseño trata de una evaluación de prueba diagnóstica, la cual se llevó a cabo utilizando muestras de hisopado nasal y faríngeo contenidas en medios de transporte universal recolectadas en el año 2020 de pacientes peruanos y que se encontraron almacenadas en el banco de muestras del INS. Estas previamente tuvieron un resultado positivo o negativo mediante RT-PCR en tiempo real para SARS-CoV-2.

Para el cálculo del tamaño muestral se utilizó el programa Epidat 4.2. Considerando un nivel de confianza de 95%, que el RT-PCR clasificó el 50% de muestras como positivas (50 positivas y 50 negativas) 10, y asumiendo que la prueba de amplificación automatizada clasificó un número similar como positivas; entonces un tamaño de 100 muestras permite encontrar un coeficiente kappa de Cohen de 0,90 con una precisión de +/- 0,085; una precisión más baja hubiera significado requerir menos muestra. El coeficiente kappa esperado correspondió a una muy buena correlación, cercana al 0,98 reportado por Zheng et al. 11. Finalmente, las muestras seleccionadas correspondieron a muestras previamente identificadas como positivas (n=52) y negativas (n=50) a SARS-CoV-2 mediante RT-PCR en tiempo real. Dentro de estas 50 muestras negativas, 25 fueron positivas a otros virus con la finalidad de poder evaluar la reacción cruzada.

Plataformas RT-PCR e instrumentos

RT-PCR en tiempo real

La extracción del ARN se realizó siguiendo las especificaciones del fabricante con el kit QIAamp Viral RNA Mini ya sea de manera manual o utilizando el equipo automatizado QIACUBE®. Para la detección del SARS-CoV-2, el extraído fue sometido a la RT PCR en tiempo real-protocolo Charité 3 y a la RT-PCR en tiempo real usando cebadores y sondas específicas para los genes RdRP de SARS-CoV-2 y GAPDH de humanos 12. Para el caso de la detección de los virus influenza A, influenza B se utilizó la prueba de RT-PCR multiplex de tiempo real en sistema TaqMan (qRT-PCR_Multiplex) 13. Finalmente, para la detección del virus sincicial respiratorio, rinovirus humano y metapneumovirus se utilizó una RT-PCR multiplex para otros virus respiratorios diseñado en el INS de Perú.

Ensayo de amplificación automatizada del ácido nucleico en tiempo real

Xpert® Xpress SARS-CoV-2 se realizó de acuerdo con las instrucciones del fabricante para su uso 4. Brevemente, se agregaron 300 µL de muestra al cartucho, el cual se cerró y luego se colocó en un equipo GeneXpert IV para realizar la prueba. Los cartuchos incluyen dos controles internos (SPC -control de procesamiento de muestras- y PCC -control de verificación de sonda-) que garantizan el correcto funcionamiento de la prueba 5. La detección del SARS-CoV-2 se basa en la identificación de dos genes: «N2» (nucleocápside proteica) y «E» (envoltura proteica), los cuales son utilizados para la interpretación de resultados. Los resultados son generados automáticamente por el sistema GeneXpertTM DX Software versión 6.2. Los resultados son informados de manera cualitativa, y las muestras analizadas son consideradas como positivas cuando se detectan ambos genes N2 y E o cuando se detecta solo N2. Cuando solo se detectó el gen E, la interpretación recomendada por el fabricante es un resultado presunto positivo; sin embargo, en época de pandemia se le consideró como positivo. Esto debido a que, al comienzo de la pandemia, se contaba con pruebas de detección molecular diseñadas para los betacoronavirus, y en época de pandemia el SARS-CoV-2 fue el virus de este género, que circuló más prevalentemente, por lo que en ese momento se recomendó la implementación de la confirmación mediante la detección de un solo marcador genético, teniendo en cuenta que las curvas, así como otros parámetros de aseguramiento de la calidad, fueran óptimos. La PCR del gen E demostró una mejor sensibilidad, por lo que se recomendó priorizar el gen E como el marcador seleccionado 14. Sin embargo, luego se comenzaron a hacer pruebas basadas en la proteína S, las cuales fueron más específicas, y es por ello que para las pruebas que salieron posteriormente se incluían adicionalmente este tipo de marcadores para la detección.

Análisis estadístico

Para el análisis de la información, se utilizó el programa Stata v15.1 (Stata Corporation, College Station, Texas, USA). Las variables cualitativas fueron reportadas como frecuencias absolutas y relativas. Las variables numéricas se describieron con mediana y rango intercuartílico (RIC), debido a que el tamaño de muestra pequeño no garantiza una distribución normal; y con rango de valores mínimos y máximos. La concordancia, el rendimiento diagnóstico relativo, el coeficiente kappa de Cohen, con su intervalo de confianza al 95% fueron analizados. Asimismo, se obtuvo la sensibilidad relativa (porcentaje de concordancia positiva) y la especificidad relativa (porcentaje de concordancia negativa) usando el RT-PCR en tiempo real como estándar de referencia imperfecto, esto debido a que, el estándar de referencia ideal es el aislamiento del virus en cultivo celular a partir de diferentes muestras del paciente; sin embargo, por la complejidad del procedimiento este no se suele utilizar por lo que se usó como subrogado la RT PCR en tiempo real. También se calculó el área bajo la curva ROC (Receiver operating characteristic) como un porcentaje con su respectivo intervalo de confianza.

Por otro lado, la especificidad analítica se obtuvo usando solo las pruebas negativas al RT-PCR para SARS-CoV-2 pero positivas para otros virus respiratorios. Todas las evaluaciones se realizaron a un nivel de significancia de 0,05. Se compararon los diferentes parámetros obtenidos, evaluando sus intervalos de confianza cruzados. Si sus intervalos de confianza al 95% no se cruzaron se les consideró estadísticamente diferentes.

Aspectos éticos

El presente estudio fue aprobado por el comité de ética del INS, con documento N.º RD: 176-2020-OGITT/INS.

RESULTADOS

Se incluyeron 102 muestras, 77 procedentes de pacientes sospechosos de COVID-19, recolectadas entre abril y setiembre del 2020; y 25 de muestras prepandemia almacenadas a -80 °C en el banco de muestra del INS. Las primeras fueron utilizadas para calcular el rendimiento relativo de la amplificación automatizada, y las ultimas para evaluar la especificidad analítica de dicha prueba. Del primer grupo, 52 fueron positivas y 25 fueron negativas para SARS-CoV-2 RT-PCR.

El 55,8% (43/77) de las muestras provinieron de personas del sexo masculino. Las mujeres tuvieron una mediana de edad de 40,5 años (RIC: 34-49, mínimo-máximo: 0-60), y los hombres de 47 años (RIC: 38-56, mínimo-máximo: 3-85). Respecto a las muestras procedentes de pacientes prepandemia, 44,0% fueron mujeres (11/25). Sólo hubo una discrepancia cuando se compararon ambas pruebas en pacientes con sospecha clínica de COVID-19, habiendo una muestra negativa por RT-PCR que salió positiva con la amplificación automatizada. Esto arrojó una concordancia global de 98,70% (IC95%: 92,98-99,97), con un coeficiente kappa de 0,97 (IC95%: 0,86-1,00), lo cual corresponde a una correlación excelente. Los números fueron muy similares cuando se excluyeron dos «presuntos positivos» en la prueba de amplificación automatizada, inicialmente considerados como positivos (Tabla 1 y 2).

Tabla 1. Comparación de los resultados obtenidos mediante la amplificación automatizada para la detección de SARS-CoV-2, con la prueba RT-PCR en tiempo real.

Criterio de positividad Resultado de amplificación automatizada Resultado de RT-PCR en tiempo real
Positivo Negativo Total
Los presuntos positivos son considerados positivos Positivo 51 1 52
Negativo 0 25 25
Total 51 26 77
Los presuntos positivos son excluidos del análisis Positivo 49 1 50
Negativo 0 25 25
Total 49 26 75
Open in a new tab

La evaluación de rendimiento relativo respecto a RT-PCR en tiempo real para SARS-CoV-2 mostró una sensibilidad relativa de 100%, tanto cuando se incluyeron todas las muestras, como cuando se excluyeron los dos «presuntos positivos» en la prueba de amplificación. La especificidad relativa fue 96,15% y el % del área bajo la curva ROC fue 98,08% en ambos casos (Tabla 1 y 2).

Tabla 2. Rendimiento diagnóstico de la amplificación automatizada para la detección de SARS-CoV-2, en comparación con la prueba RT-PCR en tiempo real.

Detección de SARS-COV-2
N a Resultado (%) IC95%
Considerando resultados presuntos positivos
Concordancia global 76/77 98,70 92,98-99,97
Coeficiente kappa de Cohen 0,97 0,86-1,00
Área bajo curva ROC 98,08 94,31-100,00
Sensibilidad relativa 51/51 100,00 93,02-100,00
Especificidad relativa 25/26 96,15 80,36-99,90
Excluyendo resultados presuntos positivos
Concordancia Global 74/75 98,67 92,79-99,97
Coeficiente kappa de Cohen 0,97 0,85-1,00
Área bajo la curva ROC 98,08 94,31-100,00
Sensibilidad relativa 49/49 100,00 92,75-100,00
Especificidad relativa 25/26 96,15 80,36-99,90
Open in a new tab
a

Datos evaluados para el análisis específico; IC95%: intervalo de confianza del 95%

ROC: Receiver operating characteristic

Adicionalmente, en la Tabla 3 se presentan las medianas con sus RIC para los genes RdRP, ORF1a, E, y N del RT-PCR en tiempo real, y para los genes N2, y E de la plataforma de amplificación automatizada utilizada. En general se aprecia un amplio rango de valores para todos los genes evaluados.

Tabla 3. Mediana de valores Ct de las pruebas positivas a los diferentes genes utilizados por la RT-PCR en tiempo real y la amplificación automatizada para la detección de SARS-CoV-2.

Plataforma Gen N Mediana RIC Min-max
RT-PCR en tiempo real RDRP 32 22,83 17,71-26,23 10,52-30,55
ORF 18 21,05 16,82-25,40 13,25-31,81
GEN_E 26 28,05 23,97-31,97 12,51-38,28
GEN_N 25 21,62 18,44-27,80 14,67-34,89
Amplificación automatizada N2_XPERT 50 27,45 21,40-30,70 12,00-39,80
E_XPERT 49 26,10 18,50-28,50 11,00-44,60
Open in a new tab

RIC: rango intercuartílico; Min-max: valor mínimo y valor máximo

Finalmente, respecto a la evaluación de especificidad analítica, esta fue de 100% para todos los virus respiratorios empleados, incluyendo el virus sincicial respiratorio (5/5), rinovirus humano (6/6), metapneumovirus (5/5), virus influenza A (5/5), y virus influenza B (5/5) (Tabla 4).

Tabla 4. Especificidad analítica de la amplificación automatizada para detección de SARS-CoV-2, relativo al RT-PCR en tiempo real, para diferentes virus respiratorios.

SARS-CoV-2 Especificidad analítica
RT-PCR en tiempo real Amplificación automatizada
Positivo Negativo Positivo Negativo
Virus sincicial respiratorio (VSR) 0 5 0 5 100,0%
Rinovirus humano (RHV) 0 6 0 6 100,0%
Metapneumovirus (MPVH) 0 5 0 5 100,0%
Virus influenza A (FLU-A) 0 5 0 5 100,0%
Virus influenza B (FLU-B) 0 5 0 5 100,0%
Open in a new tab

DISCUSIÓN

La prueba de amplificación automatizada del ácido nucleico en tiempo real (Xpert® Xpress SARS-CoV-2) es de fácil manejo y uso. Asimismo, ha demostrado un alto rendimiento diagnóstico y concordancia con la prueba RT-PCR en tiempo real para la detección cualitativa molecular del virus causante de la COVID-19, a partir de muestras de hisopado nasal y faríngeo. Además, presenta nula probabilidad de contaminación cruzada entre muestras, ya que todos los procesos están incluidos dentro de un solo cartucho.

Xpert® Xpress SARS-CoV-2 requiere condiciones de infraestructura y bioseguridad mínimas, ya que se trata de un procedimiento completamente automatizado en donde se involucra al laboratorista solo al momento de cargar la muestra 4. Además, el corto tiempo de obtención de resultados puede convertirse en una ventaja importante y vital para el manejo del paciente. Asimismo, esta prueba es de alta sensibilidad, lo que se respalda en su límite de detección establecido, el cual es de 0,01 unidades formadoras de placas (PFU)/ml 15.

Diferentes estudios han evaluado el rendimiento de esta prueba, encontrando resultados altamente concordantes 16-18. Además, en el presente estudio no se encontró ninguna reacción cruzada, lo que es concordante con lo encontrado por Wolters et al. 17.

Por otro lado, se encontró un resultado discordante cuando se evaluaron ambas pruebas. Mientras que el método de referencia resultó negativo, el método evaluado resultó positivo para la misma muestra. Esto podría deberse a una mayor sensibilidad del método evaluado, que podría estar detectando una cantidad de ARN menor que el método de referencia, lo cual está directamente relacionado con el límite de detección de la prueba. Este hecho ya ha sido evidenciado en diferentes publicaciones 11,19. En estos casos, el resultado en primera instancia se reportaba como indeterminado, luego se procedía a realizar una tercera prueba que dirimía el resultado final del paciente. En la medida de lo posible, esta tercera prueba debía ser diferente a las utilizadas previamente.

Al analizar el umbral del ciclo «Cycle threshold» (CT), las cargas virales bajas encontradas en el presente estudio pueden deberse a diferentes factores, como la toma de muestra muy temprana o muy tardía considerando el curso de la enfermedad, problemas en la toma de muestra, transporte y conservación de las muestras, o bajos niveles de diseminación viral en general. Por otro lado, las cargas virales altas pueden haberse obtenido en contextos donde la diseminación viral en la comunidad era activa y alta. La comprensión de los niveles de carga viral y el efecto que ello pueda tener en el paciente ha sido muy controvertida, y diferentes estudios en este sentido han mostrado resultados contradictorios 20,21.

Adicionalmente, esta prueba al tener dos genes de detección, el gen E y el gen N2, proporcionó una sensibilidad importante en comparación con el método de referencia 4. El gen E permite la detección de diferentes SARS (coronavirus del murciélago), incluido el SARS-CoV-2, por lo que los probables efectos de la deriva genética pueden ser evitados. Además, en los resultados evidenciados se observa una amplia variación de la carga viral obtenida (valores de CT obtenidos) entre las muestras que fueron seleccionadas para el presente estudio.

Por consiguiente, la plataforma evaluada ofrece resultados altamente eficientes para la detección del SARS-CoV-2. Su fortaleza radica en que se puede utilizar de manera descentralizada y con menores recursos (recursos humanos, infraestructura, equipos, entre otros) en comparación con una RT-PCR en tiempo real tradicional. Además, funciona como una multiplataforma para la detección de otros agentes de importancia en salud pública a partir de diferentes tipos de muestras. Teniendo en cuenta que en el Perú hasta finales del año 2023 se han implementado más de 50 laboratorios con esta plataforma, podría ser una potencial estrategia para establecer un impacto global significativo en el país, priorizando aquellos establecimientos donde se requieran resultados rápidos, como, por ejemplo, en los hospitales que cuentan con cuidados intensivos en entornos de alta prevalencia para las principales enfermedades que afectan la salud pública del país.

La principal limitación del estudio es que no se usó el estándar de referencia ideal, que es el aislamiento del virus en cultivo celular a partir de diferentes muestras del paciente; en cambió se usó el estándar más cercano como es el Rt-PCR, el cual ha sido usado en múltiples publicaciones 16-19. Otra limitación es que no se contó con metadata respecto a la enfermedad del paciente, como síntomas, duración de la enfermedad, o severidad. Aun así consideramos, que estos factores afectan de igual manera a la plataforma evaluada y al estándar de referencia, por lo que los resultados siguen siendo fiables. Por otro lado, también se debe considerar que los costos que esta plataforma, demanda en insumos, equipamiento y mantenimiento aún siguen siendo altos. Por lo tanto, su priorización podría convertirse en una buena estrategia para abordar diferentes enfermedades, acompañadas por otras tecnologías que podrían atender masivamente diferentes patologías.

Finalmente, se concluye que el rendimiento diagnóstico de la prueba Xpert® Xpress SARS-CoV-2, en comparación con el método de referencia RT-PCR en tiempo real para la detección del virus del COVID-19 a partir de muestras de hisopado nasal y faríngeo, fue altamente eficiente en términos de sensibilidad y especificidad. Los resultados obtenidos de sensibilidad y especificidad fueron del 100% y 96%, respectivamente, alcanzando una excelente correlación según los resultados obtenidos por el coeficiente kappa. Asimismo, por ser una prueba altamente eficiente y de fácil implementación y empleo, se recomienda su uso descentralizado y priorizado en los puntos de atención del paciente.

Agradecimientos.

Agradecemos a todo el personal que trabaja en la Red Nacional de Laboratorios de Virus Respiratorios del Perú, incluyendo al personal del Laboratorio de Referencia Nacional; por el trabajo rutinario realizado en el aislamiento e identificación del SARS-CoV-2 a partir de las muestras que fueron incluidas en el presente estudio.

Financiamiento.: Esta investigación fue subvencionada por el Instituto Nacional de Salud del Perú y la Dirección de Investigación de la Universidad Peruana de Ciencias Aplicadas (A-052-2021-2).

Citar como.: Puyén ZM, Araujo-Castillo R, Giraldo J, Gutierrez K, Rojas-Serrano N. Rendimiento diagnóstico de un sistema molecular de uso en el punto de atención para la detección de SARS-CoV-2 en Perú. Rev Peru Med Exp Salud Publica. 2024;41(1):76-82. doi: https://doi.org/10.17843/rpmesp.2024.411.13046.

Articles from Revista Peruana de Medicina Experimental y Salud Publica are provided here courtesy of Instituto Nacional de Salud

RESOURCES