Skip to main content
Revista Brasileira de Enfermagem logoLink to Revista Brasileira de Enfermagem
. 2026 Mar 16;79:e20250157. doi: 10.1590/0034-7167-2025-0157
View full-text in Portuguese

Expert participation in the health technology assessment process: a scoping review

Participación de expertos en el proceso de evaluación de tecnologías sanitarias: revisión del alcance

Sandra Maria dos Santos Figueiredo I, Fernanda de Nazaré Almeida Costa II, Marcia Helena Machado Nascimento II, Cristiane Cardoso de Paula III, Liane Bahú Machado III, Eliana Rosa da Fonseca IV, Elizabeth Teixeira II
PMCID: PMC12995334  PMID: 41849513

ABSTRACT

Objectives:

to map evidence on specialist participation in the health technology assessment process.

Methods:

a scoping review was conducted using the JBI method, searching the MEDLINE/PubMed, Scopus, EMBASE/Elsevier, WoS/Clarivate, CINAHL, ASP/EBSCO, APA PsycINFO, ERIC, LILACS/BVS, SciELO, and INAHTA databases. Original articles published between 2013 and 2023 were considered. Data were extracted from 89 studies and analyzed using descriptive statistics.

Results:

between three and 15 specialists (64% of studies) participated. The property attribute was assessed for digital and non-digital devices, management systems, and equipment (93.1%, 94.2%, 60%, 33.3%, respectively), the cost-effectiveness attribute, for medications (60%), and the utility attribute, for medical-surgical procedures (31.6%). Participation was online, using digital and non-digital devices (53% and 52%, respectively), in-person, using devices (77.7%), and mixed, for the other types.

Conclusions:

it is necessary to structure the assessment according to the specific characteristics of the technology type, providing insights for implementing innovations in this sector.

Descriptors: Technology Assessment, Biomedical, Peer Review, Biomedical Technology, Equipment and Supplies, Methods

INTRODUCTION

Health technologies are classified according to the nature of the material: medication (MED); equipment and supplies (EQS); medical-surgical procedure (MSP); management system (MS); and digital device (DD)(1). MED and EQS are considered biomedical technologies, which are those that interact directly with users; MSP constitutes medical technologies, which are essential for the quality in the application of biomedical technologies, such as surgical techniques, technical standards, among others; MS refers to organizational support systems, which encompass a technical and administrative support structure, and information systems and healthcare delivery organization, which, together with medical technologies, make up healthcare technologies; and DD is intervention accessible through mobile devices. There are other classifications regarding the purpose of the technology and stage of diffusion(1), including typologies used by Brazilian nursing.

The life cycles of a technology are innovation, initial diffusion, incorporation, large-scale use, and abandonment. The technological innovation process (first phase of the cycle) begins with the invention of a new product, process, or practice and ends with its first practical use (initial diffusion - second phase of the cycle)(2). Assessment occurs both during the product development or creation phase (prior to registration) and during the product’s incorporation and use phase (post-application).

However, the assessment process is evolving toward more constructive approaches from the technology’s inception through its obsolescence. Therefore, new concepts are being applied, such as scientific advice, early dialogue, post-introduction monitoring of health technologies, adaptation, reassessment, and divestment, among others(2). The adoption of a completer and more holistic “life cycle approach” concept is under discussion, which can promote stakeholder engagement and robust evidence generation(3).

Health technology assessment (HTA) is a multidisciplinary process that uses explicit methods to determine the value of a health technology at different points in its life cycle. The goal is to inform decision-making to promote an equitable, efficient, and high-quality health system(4).

Most HTAs focus on clinical medicine and pharmaceuticals, resulting in a dearth of assessments focused on public health interventions(5). The assessment of complex public health interventions faces challenges, including evidence heterogeneity, which stems from the methodological diversity of studies. HTA contributes to this legitimacy with content and procedures. Content represents the robust and reliable evidence that will be used for informed decision-making, while procedures relate to the principles of good governance that ultimately build trust(6).

It is important to note that, at all stages and life cycles of a technology, different actors can participate in the assessment process. Each stage of the HTA process uses different sources of information and involves different groups of people(7). A specialist in the HTA process refers to external individuals, not regular members of the HTA team, who hold specialized knowledge or expertise in a relevant domain. The term “specialist opinion” encompasses contributions these individuals can offer to the HTA process, including quantitative and qualitative data, as well as experience and value assessments(8).

To assess the need and feasibility of mapping methodological experiences and gaps in the field of specialist participation in the HTA process, a preliminary search for review protocols and/or reports was conducted. Considering information sources such as Medical Literature Analysis and Retrieval System Online (MEDLINE)/PubMed, Cochrane Database of Systematic Reviews, JBI Evidence Synthesis, International Prospective Register of Systematic Reviews, and Open Science Framework (OSF), 2,197 references were identified. This pre-analysis identified a guideline review that reinforces the importance of considering the use of specialist opinion in HTA, mentioning that, despite existing recommendations, there is a scarcity of reports on specialist elicitation methods(8). Specialist participation occurs through various modalities, which can be systematically mapped in the literature, favoring methodological decision-making in studies involving HTA specialists.

OBJECTIVES

To map evidence on specialist participation in the HTA process.

METHODS

Ethical aspects

Since this was a secondary study, extracting data from the literature, no ethical review was required. It is important to note that copyright was respected, with proper citation and referencing of primary studies.

Study design

This is a scoping review conducted using the JBI method(9). For writing quality and transparency, the Preferred Reporting Items for Systematic reviews and Meta-Analyses extension for Scoping Reviews(10) was applied. The protocol was registered with OSF (https://doi.org/10.17605/OSF.IO/RE8TW).

Search strategy and data source

The PCC mnemonic was adopted to structure the review question and map terms to compose the search strategy for the information sources: Population (P): specialists; Concept (C): HTA; Context (C): any healthcare setting. The review question was: what are the characteristics of specialist participation in the HTA process?

The search strategy was structured by a librarian with expertise in review studies in the health field. To develop the strategy, a term mapping was developed using, first, the descriptors and words used in the preliminary search, which was expanded with a pre-analysis of identified documents, including other terms contained in titles, abstracts, and indexing terms. Thus, the following search strategy applied to MEDLINE/PubMed was structured: ((Specialist*[tiab] OR expert*[tiab] OR “Consensus”[mh] OR Consensus[tiab] OR “Consensus Development”[tiab] OR “expert committee”[tiab] OR “expert panel”[tiab] OR “expert elicitation”[tiab] OR “effectiveness assessment”[tiab] OR “expert views”[tiab] OR “expert committee”[tiab] OR “expert panel”[tiab] OR “expert elicitation”[tiab] OR “Delphi Technique”[mh] OR “Delphi Method”[tiab] OR “Delphi Studies”[tiab] OR “Delphi Study”[tiab] OR Delphi Technic*[tiab] OR Delphi Technique*[tiab])) AND (“Technology Assessment, Biomedical”[mh] OR “Biomedical Technology Assessment”[tiab] OR (“Biomedical Technology”[mh] AND assessment*[tiab]) OR Health Technology Assessment*[tiab] OR HTA[tiab] OR ((Health Technolog*[tiab] OR Health Care Technolog*[tiab] OR Health Technolog*[tiab] OR Medical Technolog*[tiab] OR care technolog*[tiab] OR caring technolog*[tiab]) AND (assessment*[tiab])))) AND (((2013:2022[pdat]) AND (English[Filter] OR Portuguese[Filter] OR Spanish[Filter]))).) AND (English[Filter] OR Portuguese[Filter] OR Spanish[Filter]))). This strategy was adapted for each information source.

Bibliographic search was conducted on June 19, 2023, using the following sources: MEDLINE (PubMed); Scopus (Elsevier); Excerpta Medica dataBASE (EMBASE (Elsevier)); Literatura Latino-Americana and do Caribe em Ciências da Saúde; Índice Bibliográfico Español en Ciencias de la Salud; Base de Dados de Enfermagem; Western Pacific Region Index Medicus; MULTIMEDIA; Centro Nacional de Información de Ciencias Médicas de Cuba; World Health Organization Library & Information Networks for Knowledge; Literatura Peruana en Ciencias de la Salud; IRIS PAHO; Base Internacional de Guias GRADE; PREPRINT-medRxiv; ARGMSAL; Bibliografía Nacional en Ciencias de la Salud Argentina; Localizador de Informação em Saúde; Políticas Informadas por Evidências; ColecionaSUS; Secretaria de Estado da Saúde de São Paulo; Campusvirtualsp_brasil; Bibliografia Brazileira de Odontologia; IndexPsi; African Index Medicus; DESASTRES; PREPRINT-Scientific Electronic Library Online (SciELO) (Virtual Health Library (VHL)); Education Resources Information Center (ERIC) Core Collection (Clarivate Analytics); Cumulative Index to Nursing and Allied Health Literature and Academic Search Premier (EBSCO); American Psychological Association (APA PsycINFO); International HTA Database; and SciELO.

After the search, duplicates were checked in the EndNote 20/2020 reference manager (Clarivate Analytics, PA, USA).

Eligibility criteria

The incorporated studies were analyzed for inclusion or exclusion based on the PCC, and were defined as follows: Population (P) - Includes studies in which specialists participated in some stage of the HTA process: people external to the research team with knowledge or experience in a relevant area and who participated individually, on a panel or in a committee, at different moments of the process, i.e., in some of the HTA stages. Concept (C) - Includes HTA studies that determine the value of a health technology at different points in its life cycle using different methods, designs, techniques, and instruments, considering clinical, social, ethical, and economic aspects. These studies may include evidence of internal properties, safety, efficacy, patient-reported outcomes, real-world effectiveness, cost, and cost-effectiveness, as well as social, legal, ethical, and political impacts. Context (C) - Includes studies conducted in any healthcare setting, without specifying the location where HTA was developed, to avoid limiting the search and selection process and to enable the mapping of this characteristic in the literature.

Original articles published in English, Portuguese, or Spanish since 2013 were included, taking into account the Pan American Health Organization’s(11) framework to encourage the establishment of decision-making processes for the incorporation of HTA-based health technologies. Review studies, editorials, letters to the editor, translation and cultural adaptation studies of instruments, and studies in which participation was aimed at assessing strategies, parameters, or guidelines for HTA were excluded.

Study selection, data extraction, analysis, and presentation of results

As a quality criterion, to minimize the chance of error, the selection and extraction stages were developed independently. When consensus was not reached, a third reviewer was consulted to make the decision. The reviewers were trained on the eligibility criteria. Both the selection checklist (inclusion and exclusion criteria) and the extraction tool were piloted.

The selection stage was developed using the Rayyan® platform (http://rayyan.qcri.org), developed by the Qatar Computing Research Institute. The first stage of selection consisted of reading titles and abstracts between October 2023 and January 2024. Articles that met the eligibility criteria proceeded to the second stage and were read in full for the second selection phase, which took place between February and April 2024. The Rayyan® platform used Blind ON or Blind OFF applications to manage blinding and conflict checking.

Data extraction was developed, according to the JBI instrument, in a Microsoft Excel® spreadsheet structured with two tabs, consistent with the JBI method, which refers to characterization (tab 1: year; country; objective; technology’s target audience) and response to the mapping scope (tab 2: HTA characteristics, such as technology typology, assessed attribute, design context and data collection technique, and specialist characteristics, such as area, sample and selection).

The typology initially started from a theoretical classification according to the World Health Organization (WHO)(1): MED; EQS; MSP; MS; and DD. The DD typology emerged from the mapping and was included later, characterizing itself as an empirical classification.

In the analysis, the data were verified using descriptive statistics to present the study characterization results: temporal trend; geographic distribution; and target population. The results were presented in tabular form and accompanied by a narrative summary, as well as temporal and geographic graphs, which were created for comparison in Napkin and Photoshop.

RESULTS

The following references were identified, totaling 8,938 studies: 1,172 in VHL; 733 in EBSCO; seven in ERIC; 1,094 in EMBASE; 570 in the HTA Database; 2,015 in APA PsycINFO; 1,056 in Web of Science; 1,869 in Scopus; 100 in SciELO; and 2,015 in PubMed.

Of these, 4,456 were excluded due to duplication, and 4,482 were selected for title and abstract reading. Subsequently, 4,122 were excluded because they did not address the research question. Thus, 360 were selected and 29 were eliminated because they were not accessible in full. Moreover, 331 were read, 242 of which were excluded. Finally, 89 studies were included in this review (Figure 1).

Figure 1. Preferred Reporting Items for Systematic reviews and Meta-Analyses extension for Scoping Reviews 2020 flowchart for identifying and including studies.

Figure 1

A mapping of the characteristics of studies on specialists’ participation in the HTA process was developed regarding geographic location, time, sample, area of knowledge, typology of the technology assessed and technology’s target audience (Chart 1).

Chart 1. Characterization of primary studies included in the review in chronological order of publication, Belém, Pará, Brazil, 2024.

Country/year Objective Sample/area Type Audience
Iran
2013(12)
Compare patient factors, safety, and organizational considerations for HTA mixture compared to root canal therapy. 6
H and OA
MSP AOA
United Kingdom 2013(13) Assess treatment for venous leg ulcers associated with bandages and compression garments. NI
H
MSP AOA
United Kingdom 2013(14) Investigate similarities and differences between Hydration Response Technology and negative pressure wound therapy regarding wound bed preparation and develop recommendations for their use. 23
H
MSP AOA
Italy
2013(15)
Assess the overall technological status of mitral clips in mitral regurgitation treatment, with particular reference to traditional methods, and contextualize the analyses within the hospital structure, identifying critical issues and improvements. NI
H
NDD AOA
Croatia
2013(16)
Develop, implement, and assess student-written patient therapy letters as a tool in family medicine education. 3
H
NDD STU
Spain
2013(17)
Agree among specialists on the content of new maternal education based on women’s health needs and analyze theoretical models and maternal educational strategies to meet these needs. 11
H
NDD P
Brazil
2013(18)
Describe the process of assessing educational technology for cordel literature (a popular, inexpensive form of Brazilian narrative poetry) regarding content aspects of breastfeeding. 6
H
NDD AOA
Argentina
2013(19)
Assess the cost-effectiveness of Oxytocin in Uniject in Latin America and the Caribbean. 8
H and OA
MED AOA
Cuba
2014(20)
Discuss a computer tool that helps determine health actions related to hypertension in Primary Health Care through online analytical processing and case-based reasoning. 9
H
MS AOA
Germany
2014(21)
Discuss the perspectives, demands, and safety and risk concerns associated with lab-on-a-chip systems. 30
H
MS AOA
Brazil
2014(22)
Develop and reach consensus on assistive technology for daily clinical assessment of postoperative patients, based on theoretical support and adapting to hospital dynamics. 9
H
MSP AOA
United Kingdom 2014(23) Determine the most cost-effective diagnostic testing strategy for heavy menstrual bleeding and postmenopausal bleeding diagnosis and treatment. 14
H
MSP AOA
United Kingdom 2014(24) Identify and describe the selective decontamination of the digestive tract intervention, the evidence base, the acceptability of future research, and the feasibility of new randomized clinical trials. 36
H
MSP AOA
Peru
2015(25)
Develop an online healthcare information technology service and help inform the medical equipment assessment and procurement processes, according to the market and the needs of healthcare institutions. NI
H
MS P
Brazil
2015(26)
Assess the functional performance and technical quality of the Electronic Nursing Process Documentation System. 37
H and OA
MS P
United Kingdom
2015(27)
To explore and promote improvements in evidence generation for Health Technology Assessment in the field of medicines, considering the needs of different stakeholders throughout the entire lifecycle of health technologies 75
H
MED P
Spain
2015(28)
Identify user needs for a new medical technology for managing and monitoring patients with Parkinson’s disease and use these user needs to conduct a preliminary assessment of a specific system called PERFORM, including a case study. 16
H and OA
MS AOA
Brazil
2015(29)
Present the Diabetes Food Control app to assess dietary markers in diabetics, based on a validated questionnaire. NI
H
DD AOA
Brazil
2015(30)
Present Alz Memory, a game developed to stimulate the memory of Alzheimer’s patients, aiming to minimize the effects of the disease. 10
OA
DD AOA
Argentina
2015(31)
Assess the cost-effectiveness of oxytocin in Latin America and the Caribbean. 30
H
MED AOA
Brazil
2016(32)
Assess the usability of a digital educational prototype on a new method for minimally invasive intracranial pressure monitoring for nurses and physicians. 4
OA
DD P
Spain
2016(33)
Understand the criteria of hypertension specialists regarding fixed-dose triple combinations and explore possible differences in criteria regarding their use among physicians in three specialties involved in blood pressure control: internal medicine, cardiology, and nephrology. 158
H
MSP AOA
Brazil
2016(34)
Develop and preliminarily assess a mobile application to assist voice professionals in managing their vocal health. 3
H
DD P
United States of America
2016(35)
Determine whether the application of the Headroom method combined with return-on-investment analysis allows estimating the potential commercial viability of a therapeutic device and five diagnostic devices. NI
H
MSP P
Netherlands
2016(36)
Assess the short-term cost-effectiveness of four complementary diagnostic tests in patients with early inflammatory arthritis at risk for rheumatoid arthritis. NI
OA
MSP AOA
India
2016(37)
Report the implementation process of a tablet-based Mother and Child Tracking System for maternal and child health tracking in Bihar. NI
H and OA
MS P
Finland
2016(38)
Analyze the health technology adoption phase. NI
H
MSP P
Poland
2016(39)
Assess the costs and consequences of using an innovative medical technology, the misoprostol vaginal insert, for labor induction instead of alternative technologies used as standard of care. 5
H
MSP AOA
Colombia
2017(40)
Validate the impact of the biomedical technology management audit tool. 12
H and OA
MS P
Sweden
2017(41)
How accurate is remote image-based diagnosis of burns commonly presented in emergency centers in the Western Cape when viewed on a handheld device? Do remote assessments have comparable accuracy when performed on handheld devices compared to a computer screen? 26
H
MSP P
Spain
2017(42)
Describe the variety of HTA agreements, methods, and processes in the adoption and use of a controversial preventive intervention in selected countries in Central, Eastern, and Southeastern Europe, and Latin America and the Caribbean, as well as vaccine implementation in lower-middle-income countries, and provide recommendations for those countries. 3
H and OA
MSP NBC and ADO
China
2017(43)
Develop a new mobile application for information and social and emotional support for women with breast cancer undergoing chemotherapy to promote self-efficacy and social support, improving symptom management strategies. 8
H
DD AOA
Denmark
2017(44)
Conduct an early cost-effectiveness analysis of single-use flexible video bronchoscope technology compared to current reusable technology in a hospital intensive care setting in the United States. 8
H
EQS AOA
Netherlands
2017(45)
Initially assess health technology to estimate the costs of magnetic resonance-guided high-intensity focused ultrasound ablation compared with breast-conserving treatment. 7
H and OA
MSP AOA
United Kingdom 2017(46) Establish specialist opinion and improve MED authentication technology. 10
H
MS P
United Kingdom 2017(47) Assess the Spectra Optia automated apheresis system to make recommendations. 6
H
MSP P
Brazil
2018(48)
Validate the content and design of a longitudinal care program to assist adolescents in their first pregnancy. 11
H
NDD AOA
Brazil
2018(49)
Validate the content of a booklet-type educational technology produced to facilitate the reception of newborns’ families in the Intensive Care Unit. 15
OA
NDD AOA
Brazil
2018(50)
Analyze the quality of a virtual learning object using the Learning Object Review Instrument. 5
H
DD STU
Sweden
2018(51)
Investigate the reliability with which healthcare professionals with different levels of expertise can convey the exact location of prostate cancer. 9
H
MSP P
United States of America
2018(52)
Assess the cost of microprocessor-controlled knees compared to non-controlled knees. 15
H
EQS AOA
Mexico
2018(53)
Define the role of metabolic surgery in 2DM treatment in Mexico. 24
H
MSP AOA
Australia
2018(54)
Conduct usability testing of the app to assess pain in adults with dementia treated by paramedics; assess the suitability of the app’s algorithm as a pain assessment flowchart for use with adults with dementia; identify areas for further development in the pain app to improve user interaction; respond to recommendations made by clinical teams and work with computer science specialists to make necessary modifications. 7
H
DD P
Mexico
2019(55)
Describe the design and development of a web-based system. 10
H
DD AOA
Brazil
2019(56)
Validate online training for VAMOS program facilitators. 6
H
DD P
Brazil
2019(57)
Validate the “Manual de cuidados familiares com a pessoa idosa submetida à cirurgia cerebral” educational technology. 11
H and OA
NDD AOA
Brazil
2019(58)
Develop and validate the content of free web-based software (desktop and mobile applications) for self-management and personalized foot and ankle exercises for people with diabetes and diabetic neuropathy. 3
H
DD AOA
Brazil
2019(59)
Design and validate the content and design of an educational game about healthy lifestyle habits for adolescents. 15
H
NDD ADO
New Zealand 2019(60) Investigate the perceived usefulness of different daily care activities for the robot, developed based on previous needs research. 19
H
DD AOA
Sweden
2019(61)
Develop and assess a prototype for monitoring movements and heart rate. NI
H and OA
EQS AOA
India
2019(62)
Develop a bilingual, smartphone-based educational mobile application for cardiac patients and pilot test it in an Indian clinical setting. 5
H and OA
DD AOA
Brazil
2019(63)
Develop and validate the content of a free web-based software (desktop and mobile applications) for self-management and personalized foot and ankle exercises for people with diabetes and diabetic neuropathy. 19
H
DD AOA
Brazil
2020(64)
Validate the “Saúde do Homem: dicas para uma vida saudável” educational technology content. 9
H
NDD AOA
Brazil
2020(65)
Validate the suitability of the online training material and its usability to train healthcare professionals to implement the VAMOS version 3.0. 22
H and OA
DD P
Brazil
2020(66)
Develop an educational intervention using a game that addresses aspects related to adolescent motherhood and childcare. 8
H and OA
NDD ADO
United States of America
2020(67)
Describe the development and content of slide presentations and assess their ability to spark discussion among focus group participants. 17
H and OA
NDD AOA
United States of America
2020(68)
Develop the COPE-STAR intervention using a web-based platform to help caregivers of children aged 1-5 manage their children’s symptoms and medical technology at home. 8
H
DD AOA
Brazil
2020(69)
Validate the content and usability of the “NASF em Rede” application for teams in the Expanded Family Health and Primary Care Centers. 18
H and OA
DD P
Brazil
2020(70)
Assess the technical quality of a mobile application to support nurses’ decision-making in preventing skin lesions in hospitalized newborns, according to the Product Quality Model. 20
H and OA
DD P
United Kingdom 2020(71) Develop patient-recorded indicators for manual therapy devices in epidermolysis bullosa and their use in an N-of-1 proof-of-concept study with cost analysis to investigate the performance of the disposable dressing glove compared to conventional dressings and bandages. 8
H
NDD P
Portugal
2020(72)
Describe and report the initial steps in the development of a new medical device (the Duo syringe). 9
H and OA
NDD P
Spain
2021(73)
Assess the maturity of the DESDE-AND classification system. 23
OA
MS P
United Kingdom 2021(74) Assess, in regional anesthesiologist specialists’ opinion, the overall performance of an Artificial Intelligence system to guide an ultrasound to confirm the correct view of the less experienced provider. 3
H
DD AOA
India
2021(75)
Assess the cost-effectiveness of portable electrocardiography for cardiovascular disease screening among symptomatic and high-risk adults at a Primary Health Center. 3
H
EQS AOA
Brazil
2021(76)
Develop and validate a self-care educational technology for informal caregivers. 7
H
NDD AOA
Taiwan
2021(77)
Assess the cost-effectiveness of Avelumab in Taiwan. H
N
EQS AOA
Brazil
2021(78)
Verify the Safe Heart mobile app content validity for monitoring and identifying heart attack risk. 10
H and OA
DD AOA
Canada
2021(79)
Create a toolkit for clinicians to conduct assessments and rehabilitation on a platform enabled with immersive technologies. NI
OA
DD AOA and P
Austria
2021(80)
Gain insight into the uptake, user acceptance, and concerns regarding a machine learning-based prediction application designed to improve patient safety in a clinical setting. 15
H and OA
DD AOA
United Arab Emirates
2022(81)
Perform HTA for a different level of telemedicine intervention in diabetes management. 12
H
MSP AOA
France
2022(82)
Highlight the organizational impacts of 3D printing in a hospital. 12
H and OA
EQS P
Israel
2022(83)
Analyze the impact of two technologies that deliver MEDs directly to the brain. 8
H
DD P
Thailand
2022(84)
Synthesize international documents and research on smart digital learning to improve digital health literacy; design smart digital learning; and assess its suitability. 10
H and OA
DD AOA
Brazil
2022(85)
Present an initial version of the technological development and assessment of an application that supports data collection, analysis, assessment, and monitoring of healthy school cafeterias. 3
H
DD NBC, ADO
Brazil
2022(86)
Produce and validate educational health video technology to encourage breastfeeding among families. 20
H
NDD NBC
Brazil
2022(87)
Present the development, validation, and usability assessment of a booklet that guides training and personalizes the progression of a home-based foot and ankle exercise program. 8
H and OA
NDD AOA
Pakistan
2022(88)
Develop an asynchronous virtual classroom for teaching laboratory testing factors. 17
OA
DD STU
United States of America
2022(89)
Develop a virtual bariatric endoscopy simulator for training and assessment of endoscopic sleeve gastroplasty. 5
H
EQS P
Italy
2022(90)
Assess the potential benefits of Magnetic Resonance-guided high-intensity focused ultrasound. 11
H
EQS AOA
Brazil
2022(91)
Assess the “Meu PICC” ​​application usability for out-of-hospital monitoring of patients using peripherally inserted central catheters. 18
H and OA
DD AOA
Brazil
2023(92)
Develop and validate an app that determines the foot risk level of patients with DM associated with health conditions. 18
H
DD P
France
2023(93)
Analyze the cost-effectiveness of blinatumomab versus HC3 in children with first relapse of high-risk acute lymphoblastic leukemia. NI
H
MED NBC
United States of America
2023(94)
Assess the acceptability and feasibility of a technology-driven platform to facilitate care coordination: Care4AD. 35
H
DD AOA
Italy
2023(95)
Assess the cost-effectiveness of radiofrequency ablation for esophageal cancer in Italy. 5
H
EQS AOA
Italy
2023(96)
Assess the benefits and added value of introducing trifluridine/tipiracil into Italian clinical practice, defining the comparison and efficacy and safety profiles in relation to other treatment options. 8
H
MED AOA
Sweden
2023(97)
Assess the usability of the Electronic Health Report Form prototype to identify health and health-related problems in young people. 14
H and OA
DD ADO
Portugal
2023(98)
Assess a clothing prototype that incorporates sensors for assessing pressure, temperature, and humidity to prevent pressure injuries. 9
H
NDD P
Colombia
2023(99)
Determine the therapeutic classification of caplacizumab according to the Institute for Health Technology Assessment’s methodology. 5
H
MED AOA
Italy
2023(100)
Assess the costs of Radiofrequency Echographic Multi Spectrometry versus conventional ionizing technology for the diagnosis of osteoporosis from the Italian National Health Service’s perspective. 6
H
MSP AOA

H - health; OA - other areas; MED - medication; EQS - equipment and supply; MSP - medical surgical procedure; MS - management system; NDD - non-digital device; DD - digital device; NBC - newborn/child; ADO - adolescent; AOA - adult/older adults; NI - no information; HTA - health technology assessment; DM - diabetes mellitus; P - professionals; STU - students.

As for the countries, 44 were identified in the Americas (27 in Brazil) and 62 (69.7%) distributed in 30 countries, spanning four continents (Figure 2). In addition, 46 (51.7%) were published in the last five years (2019-2023). Regarding the typologies of technologies assessed, according to the theoretical categories(1), 29 (32.6%) DDs, 19 (21.3%) MSPs, ten (11.2%) MSs, nine (10.2%) EQSs, and five (5.7%) MEDs were mapped. Furthermore, according to the empirical category that emerged, 17 (19%) non-digital devices (NDDs).

Figure 2. Characterization of the geographic distribution of scientific studies with the participation of specialists in health technology assessment in the 2013-2023 period.

Figure 2

The total population of specialists across all included studies was 1,068. As for the target audiences of the technologies assessed, 52 (58.4%) were adults and older adults; 26 (29.2%) were professionals; three (3.4%) were students; three (3.4%) were adolescents; two (2.2%) were newborns and children; two (2.2%) were children and adolescents; and one (1.2%) was an adult and older adult, and professional.

Mapping specialist participation indicated that the HTA process characteristics are related to the typologies of technologies that modify the variables analyzed, such as the attribute assessed, the context in which HTA was conducted, study design, and participation technique (Figure 3).

Figure 3. Characteristics of health technology assessment with the participation of specialists according to technology typologies.

Figure 3

Concerning specialists’ areas of expertise, 57 (64%) of studies included health specialists. Only in MED assessment were all health specialists.

In EQS and MSP assessments, the majority (77.8% and 78.9%, respectively) of specialists were from the healthcare field. When specialists from other fields were included, they included members of HTA committees(12,42,82). EQS assessment also included engineering participants(61), and MSP assessment included participants from the cost area exclusively(36) and integrated with the health area(45). Regarding DDs and NDDs, the majority also included health specialists (55.2% and 64.7%, respectively). In DD assessment, there was exclusive participation of information technology specialists(30,32,79,88) or information technology integrated with health specialists(62,65,69,70,78,80,84,91,97). In NDD assessment, when including other areas, the design area was considered(49,87) or other management(66,67), pedagogy(57), and information technology(72) specialists were associated with health participants. In MS assessment, health specialists’ participation was not the majority (40%). When there were specialists from other areas, the area of information management(27), information technology exclusively(73), and information technology integrated into the health area were included(26,28,37,40).

In relation to the participation of this specialist, the number of specialists per study ranged from three to 158. The sample was composed according to the type of technology assessed. It was found that the minimum number of specialists was three in EQS(75,77), DD(34,58,74,85), NDD(16), and MSP(42) assessment, and five in MED(31) and MS(27) assessment. The maximum numbers approached 30 in MED(31), DD(94), and MS(26) assessment, and decreased to 20 in NDD(86) assessment, and to 15 in EQS(52) assessment. In MSP assessment, there was a single study(33) that reached a maximum of 158.

In 11 studies, no information was found on the number of specialists(13,15,25,29,35-38,61,79,93). No citations were found to justify the minimum or maximum number. Considering the sample (n=89), we found that a minimum of three and a maximum of 15 occurred in 64% of studies.

Across all typologies, the selection process took place at national and international reference institutions. The Lattes Platform was only mentioned as the sole source for specialist selection in studies from Brazil in NDD(76,86,87) and DD(69,70,78) assessment, with selection integrated into institutions in NDD(66) assessment. Selection was mentioned only in the literature for EQS(52,82) and MS(21) assessment, integrated into institutions in MSP(41) assessment. However, no information was found for all typologies (80% in MED assessment; 68% in MSP assessment; 66% in DD assessment; 65% in NDD assessment; 60% in MS assessment; 56% in EQS assessment).

Regarding the attributes assessed, the property attribute stands out, predominating in DD and NDD (93% and 88%, respectively), followed by MS (50%), EQS (33.3%), and MSP (10%). For MED, property was not assessed. Effectiveness was assessed separately in MED(96), EQS(95), DD(83), and MSP(23,24,100), and integrated with costs in MED(19,31,93) and EQS(44,75). Utility stood out in MSP(13,14,35,41,47,53), followed by MS(37,45), MED(99), DD(94), and NDD(15). Cost assessment was performed separately MSP(36,38,45) and EQS(52) assessment, being integrated with utility(77), safety(72,81), and impact(39) in EQS and MSP assessment. Safety assessment stood out in MS(20,21) assessment. Impact(82) and risk(12) assessment were performed in EQS and MSP.

As for the context in which HTA was carried out, it was found that the online modality was the most used in NDD (53%) and DD (52%) assessment. The in-person modality was the most used in EQS assessment (77.7%). In MSP(13,14,23,33), NDD(67,71,76), MS(40,73), EQS(52), and DD(79) typologies, the mixed modality stood out, in which both the online and in-person modalities were used.

The designs of HTA studies in which specialists participated were mostly quantitative in all typologies: MED (100%); MS (90%); EQS (77.7%); MSP (73.7%); DD (65.5%); and NDD (64.7%). Qualitative designs were not identified only in MED assessment, and mixed methods studies were used in MSP(24), NDD(72,98), and DD(80,85,88,97) assessment.

The most commonly used techniques for specialist participation were structured instruments (questionnaires and forms), reaching 48% in DD assessment studies, 47% in NDD, and 36% in MSP. In DD assessment, the diversity of techniques combines the questionnaire with thinking aloud(29,30), use of an application(85), focus group alone(43,80) and combined with testing and Delphi panel(53), exposure followed by handling and assessment instrument(32), in addition to interview after technology presentation(60), prototype and scoring handling(62), software use, and tests based on case studies(70) and simulation(79).

In MS(20,21,28,37) and DD(16) assessment, the use of interviews alone stood out. In EQS assessment, interviews combined with focus groups(82), questionnaires(90), and telephone discussion panels(52) were used. Also, in EQS assessment studies, other combined techniques were identified, such as regular meetings, focus groups, workshops(61), use of models and questionnaires(77), procedural filming, and questionnaires(89).

In MED assessment, the use of modified Delphi stood out(31,99). In NDD and MSP assessment, the use of isolated techniques such as focus groups(12,17,72,81), modified Delphi(33) and interviews(23,24,38,53,100) was also verified. In NDD assessment, combined techniques were used, such as meetings and collaborative design, with in-person discussions and telephone meetings(67), meetings, email exchanges(71), questionnaires, and focus groups(98). In MSP assessment, case study analysis and focus groups(13), interviews, questionnaires(14), plotting and drawings were used(51).

DISCUSSION

The available evidence mapped in this scoping review showed that the participation of specialists in HTA processes varies according to the types of health technologies assessed. These characteristics vary for each type assessed regarding the area of expertise, assessed attribute, selection, sample, context, design, and technique.

One characteristic of HTA is that a variety of specialties participate, and there are different conceptions of who is considered a specialist. Content specialists with knowledge of technology stand out in assessment processes, and they may come from different areas of specialization, but primarily from the healthcare field, as do method specialists who will contribute to quality assurance(8). The mapping indicated the participation of specialists from fields other than healthcare, such as engineering, IT, design, pedagogy, and others. A recommendation for future studies is to map challenges by field, including nursing.

Another characteristic is the variety of strategies. The studies assessed different types of devices, including digital, non-digital, and procedural, which is consistent with recommendations from Chinese researchers, who state that devices differ considerably from pharmaceuticals in many ways, making HTA challenging. The authors call on both academic communities and agencies to standardize the process, methodologies, and criteria for HTA on devices, with a view to expanding assessments, as current HTA guidelines still focus primarily on MEDs(101).

Despite the challenges of HTA processes, the variety of specialties and strategies favors the collection of diverse analyses and contributions, which points to the triangulation of participant areas, designs, and techniques. Triangulation is a strategy for improving studies by involving different perspectives and used to increase their credibility by involving two or more aspects and enabling the understanding of the evaluative phenomenon at different levels, considering the complexity of the objects of study (health technologies) and the conditions of the assessment process itself(102).

In this process, regarding specialists’ areas of expertise, it became clear that there are studies involving only healthcare specialists, studies in which healthcare participants are integrated into different areas, and studies in which other areas participate in isolation. It was also found that, in all technology typologies assessed, healthcare specialists participated, particularly in the MED typology, where healthcare was the only specialty in all studies.

Healthcare specialists participated, either individually or in conjunction with other fields, primarily in the HTA of technologies, with the exception of MS. The specialist’s field of expertise depends on the type of technology being assessed. Among the European Union, the United Kingdom, Canada, and Australia, healthcare and other field specialists participate in HTA studies. The participation of specialists from different fields can ensure transparency and the inclusion of reflections from diverse perspectives(103).

In a study where specialists provided estimates for technical issues, both in their area of expertise and in areas where they were not, it was found that participants were more serious and cautious about tasks in studies directly related to their specialties. Therefore, the specialists’ area of expertise influences HTA. The recommendation is that, for any HTA process, all specialists have the necessary substantive experience and relevant knowledge of the topic under assessment(104).

Regarding the sample in HTA studies, it was possible to map the number of specialists, as well as verify the minimum and maximum number, which indicated a variation between three and 15. Furthermore, no mention was found in the studies of standards or models that determine the number of specialists to be reached, which reinforces the assertion that there is no established standard regarding the number of specialists(105).

A study that considered 22 HTA organizations and included 42 documents on the specialist sample found that participation, whether individual or group, varied in number of members. Some agencies recommend including more than one specialist to obtain a range of views. It is noteworthy that the size of the specialist panels indicated in the Irish guideline ranges from five to 20 individuals(8), which converges with the mapping carried out in this review.

When mapping evidence on specialist selection, a high number of studies found no information on the sources consulted for specialist selection, with the highest percentage being in MED assessment studies (80%). It is understood that selection is a challenging task for assessment studies, and researchers must establish both quantitative and qualitative criteria to achieve reliable results. Regarding specialist selection, it is important to emphasize that accurate analysis of a technology’s characteristics is related to specialists’ confidence and experience in the field, and they must be able to analyze, interpret, and infer quantitative and/or qualitative values(105).

Regarding the mapping of evidence regarding the attribute assessed by specialists, studies were identified in which properties were assessed (content, appearance, usability, quality), which characterizes an assessment in the first life cycle of the technology, before registration, when technical and operational aspects of the technology are verified. In these studies, when the property assessed was content and appearance, the term “validation” was mostly used, while in studies in which the property assessed was usability and quality, the term was “assessment”.

Regarding the attributes focused on outcome aspects, more characteristic of the second life cycle onwards, studies assessing effectiveness, utility, costs, safety, impact, and risks were found. It is considered relevant that in HTA, studies are carried out at different points in the life cycle of a health technology(106), as the process is characterized by being systematic and contemplating both properties and effects and/or impacts, with a view to improving the quality and value of the technology, thus facilitating decisions(103).

Historically, HTA has focused on the safety and efficacy of an intervention, as well as its cost-effectiveness, although there is a growing awareness that a broader form of HTA is needed. It is noteworthy that some efforts are already underway, albeit limited to a few countries, to address this need. If HTA fails to expand its assessment and recommendations, without including other issues such as properties, for instance, it may be considered irrelevant to the of decision-makers’ real needs. HTA should (and increasingly does) have recommendations on technologies that go beyond safety, efficacy, and cost-effectiveness(107), which was evident in the monitoring carried out. Safety, one of the attributes identified in the mapping, particularly in MS assessment studies, where it was assessed both separately(20) and integrated with risks(21), seeks to ensure that health technologies are analyzed to minimize risks to patients and optimize desired outcomes(108).

Regarding context, which refers to the environments used for specialists to interact with research teams (online or in-person), evidence converged toward a multidimensional perspective. In the NDD and DD typologies, online was predominant, and in the EQS typology, in-person was predominant. Further evidence suggests that both contexts were used in studies assessing the MSP(13,14,23,33), NDD(68,71,76), MS(40,73), EQS(52), and DD(79) typologies.

We understand that both contexts have positive and negative aspects. Authors acknowledge that conducting a in-person specialist consultation requires significant effort, access to resources, training, and time, especially when multiple specialists are involved, as in HTA studies. It can be very time-consuming, especially in disease areas where there are few specialists and many are geographically dispersed and have busy schedules. Furthermore, during an in-person consultation, the facilitator must be careful not to impose their beliefs or biases on the specialist. By using the online environment, more specialists can be reached in a shorter time, but generally, the cost of very low response rates, especially when targeting physicians, tends to reduce data collection costs and the level of recording errors(104,109).

In relation to the study designs in which specialists participated, only the MED assessment did not use qualitative assessment. In the remaining studies, in addition to quantitative and qualitative studies, mixed methods studies were also identified in MSP(24), NDD(72,98), and DD(80,85,88,97) assessment.

Specialist opinion can be qualitative, used to validate simulated health pathways in a cost-effectiveness model, or quantitative, used to provide estimates, for instance. The more structured consultation aims to facilitate the process of obtaining quantitative data in order to obtain opinions that are as rigorous and scientific as possible. These methods allow specialists to specify a quantity of interest, as well as the associated uncertainty surrounding it, which can be encoded as a probability distribution(110). The predominantly quantitative HTA design across all technology typologies is consistent with the attribute being assessed. For instance, in the MED typology, the primarily assessed attribute was cost-effectiveness, which requires a quantitative design. Another example is the quantitative designs in property assessments, which primarily mapped the use of Content Validity Index calculations.

Regarding the techniques applied to specialists, the diversity of modalities stood out, both individually and in combination. In all typologies, questionnaires and forms were used, as well as focus groups, interviews, and the Delphi method, which is recommended for gathering specialist opinions(8). Specifically regarding the Delphi method, there are numerous characteristics that are considered advantageous, such as: anonymity among participants, which avoids embarrassment, inhibitions, and intimidation that can occur in in-person meetings, allowing everyone to express their comments, even those specialists whose opinions are minority; the possibility of providing participants with feedback on their contributions; the possibility of reviewing specialists’ responses, as well as the formation of heterogeneous groups, when the subject or product to be assessed is multidimensional and multidisciplinary. When applied in a virtual environment, there is another difference and advantage to its use, as it allows the participant more time to reflect on the technology assessed, which can lead to greater adherence, participation, in addition to lower costs and time spent on its implementation(105,111).

We believe it is important to adopt different techniques in HTA studies, as they allow for the collection of both objective and subjective perspectives. Opinions gathered through individual interviews (conducted in person or remotely) or through written interviews with answers to specific questions facilitate the analysis of different perspectives expressed by specialists(110). In relation to questionnaires, in relation to the context in which they are applied, it is worth noting that, in the online environment, they present a greater return than those self-completed in person, allowing them to reach a wider geographic area; another advantage is that there is no pressure for the researcher to be present, as anonymity can be fully preserved, and there is a lower cost than carrying out, for instance, an interview or focus group(109,112,113).

Focus groups encourage the exchange of experiences, insights, and impressions, which can enable collective reflection on the technology being assessed. The technique creates an environment that allows for problematization and in-depth discussions, enabling, above all, knowledge and understanding of subjects’ distinct expertise. The questions raised about the technology in question can spark reflection on the assessment process itself and elicit new meanings for the assessment experience itself(114,115).

This result highlighted a gap in HTA studies regarding the lack and/or incompleteness of information that characterizes specialists’ participation in the HTA process, especially regarding selection, context and technique used.

Study limitations

The limitation of this review was the non-development of the third stage of evidence search and selection, which refers to the manual search in the list of references of studies included in the sample.

Contributions to nursing

The review contributes to the healthcare field by offering a comprehensive analysis of specialist participation in the assessment of various health technologies. These findings emphasize the need for a more structured approach to assessment based on the specific characteristics of each technology typology, providing insights for implementing innovations in this sector. Thus, the review not only expands knowledge about specialist participation but also guides future research and practice in healthcare.

CONCLUSIONS

Mapping the evidence on specialist participation in the HTA process showed that the attribute assessed is one of the defining characteristics of specialist participation and is directly related to the type of technology. The predominant area of expertise for inclusion in assessment is healthcare, with the exception of technologies classified as MS, and the inclusion of other areas depends on the type of technology being assessed. The sample of specialists ranged, in most studies, from three to 15. Specialists were selected based on information obtained from institutions and the literature, but this information is lacking, as there is little transparency in studies of this data.

AVAILABILITY OF DATA AND MATERIAL

The research data are available within the article.

REFERENCES

  • 1.Pan American Health Organization (PAHO) Developing health technology assessment in Latin America and the Caribbean. 4th. Washington, D.C: PAHO; 2000. [cited 2025 Jan 20]. [Internet] Available from: https://www.paho.org/en/file/38437/download?token=gldkiql8 . [Google Scholar]
  • 2.Gutiérrez-Ibarluzea I, Chiumente M, Dauben H-P. The life cycle of health technologies: challenges and ways forward. Front Pharmacol. 2017;8:14. doi: 10.3389/fphar.2017.00014. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 3.Trowman R, Migliore A, Ollendorf DA. Health technology assessment 2025 and beyond: lifecycle approaches to promote engagement and efficiency in health technology assessment. Int J Technol Assess Health Care. 2023;39(1):e15. doi: 10.1017/S0266462323000090. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 4.O’Rourke B, Oortwijn W, Schuller T. Announcing the new definition of health technology assessment. Value Health. 2020;23(6):824–825. doi: 10.1016/j.jval.2020.05.001. [DOI] [PubMed] [Google Scholar]
  • 5.Polus S, Mathes T, Klingler C, Messer M, Gerhardus A, Stegbauer C, et al. Health technology assessment of public health interventions published 2012 to 2016: an analysis of characteristics and comparison of methods. Int J Technol Assess Health Care. 2019;35(4):280–290. doi: 10.1017/S0266462319000515. [DOI] [PubMed] [Google Scholar]
  • 6.Giedion U, Espinoza MA, Góngora-Salazar P, Mehndiratta A, Ollendorff D. Harnessing health technology assessment in Latin America and the Caribbean: keeping the region on course. Health Syst Reform. 2023;9(3):2314482. doi: 10.1080/23288604.2024.2314482. [DOI] [PubMed] [Google Scholar]
  • 7.Bertram M, Dhaene G, Tan-Torres Edejer T, World Health Organization . Institutionalizing health technology assessment mechanisms: how to guide. Geneva: World Health Organization;; 2021. [cited 2025 Feb 23]. p. 58. [Internet] Available from: https://www.who.int/publications/i/item/9789240020665 . [Google Scholar]
  • 8.Hunger T, Schnell-Inderst P, Sahakyan N. Using expert opinion in health technology assessment: a guideline review. Int J Technol Assess Health Care. 2016;32(3):131–139. doi: 10.1017/S0266462316000209. [DOI] [PubMed] [Google Scholar]
  • 9.Peters MD, Godfrey C, McInerney P, Munn Z, Tricco AC, Khalil H. In: JBI Manual for Evidence Synthesis. Aromataris E, Lockwood C, Porritt K, Pilla B, Jordan Z, editors. JBI; 2024. [cited 2025 Feb 23]. Scoping reviews. [Internet] Available from: https://jbi-global-wiki.refined.site/space/MANUAL . [Google Scholar]
  • 10.Tricco AC, Lillie E, Zarin W, O’Brien KK, Colquhoun H, Levac D, et al. PRISMA extension for scoping reviews (PRISMA-ScR): checklist and explanation. Ann Intern Med. 2018;169(7):467–473. doi: 10.7326/M18-0850. [DOI] [PubMed] [Google Scholar]
  • 11.Pan American Health Organization . Health technology assessment and incorporation into health systems (Resolution CSP28.R9) 28th. Washington, D.C: PAHO; 2012. [cited 2025 Feb 23]. [Internet] Available from: https://iris.paho.org/handle/10665.2/3684 . [Google Scholar]
  • 12.Yazdani S, Jadidfard MP, Tahani B, Dianat O, Kazemian M, Zadeh MM, et al. Health technology assessment of CEM pulpotomy in permanent molars with irreversible pulpitis. Iran Endod J. 2014;9(1):23–29. doi: 10.22037/iej.v9i1.5123. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 13.Dowsett C, Grothier L, Henderson V, Leak K, Milne J, Davis L, Bielby A, Timmons J. Venous leg ulcer management: single use negative pressure wound therapy. Br J Community Nurs. 2013;18(Sup6):S6–15. doi: 10.12968/bjcn.2013.18.Sup6.S6. [DOI] [PubMed] [Google Scholar]
  • 14.Hermans MHE, Corte K. NPWT ou curativo de TRH? Resultados de um painel de especialistas e uma análise de painel Delphi. J Wound Care. 2013;22(11):573–580. doi: 10.12968/jowc.2013.22.11.573. [DOI] [PubMed] [Google Scholar]
  • 15.Miniati R, Cecconi G, Dori F, Marchetti M, Gentili GB, Porchia B, et al. Hospital-based health technology assessment on the use of mitral clips in the treatment of mitral regurgitation. Technol Health Care. 2013;21(6):535–546. doi: 10.3233/THC-130756. [DOI] [PubMed] [Google Scholar]
  • 16.Mrduljaš Đujić N, Žitnik E, Pavelin L, Bačić D, Boljat M, Vrdoljak D, et al. Writing letters to patients as an educational tool for medical students. BMC Med Educ. 2013;13:114. doi: 10.1186/1472-6920-13-114. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 17.Artieta Pinedo MI. Rediseño de la educación maternal: propuesta de un marco para la elaboración de un programa de educación para la salud y preparación al nacimiento efectivo y centrado en las necesidades de las mujeres. Victoria-Gasteiz: Departamento de Salud, Gobierno Vasco;; 2013. [cited 2025 Mar 16]. [Internet] Available from: https://www.euskadi.eus/contenidos/informacion/2013_osteba_publicacion/es_def/adjuntos/Informe%20D-13-07.pdf . [Google Scholar]
  • 18.Oliveira PMP, Pagliuca LMF. Avaliação de tecnologia educativa na modalidade literatura de cordel sobre amamentação. Rev Esc Enferm USP. 2013;47(2):205–212. doi: 10.1590/S0080-62342013000200001. [DOI] [PubMed] [Google Scholar]
  • 19.Pichon-Riviere A, Glujovsky D, Garay OU, Augustovski F, Ciapponi A, Serpa M. Economic evaluation of oxytocin in Uniject injection system versus standard use of oxytocin for the prevention of postpartum hemorrhage in the active management of the third stage of labor in Latin America and the Caribbean. Value Health. 2013;17(3):A160. doi: 10.1016/j.jval.2014.03.931. [DOI] [Google Scholar]
  • 20.Sánchez Corales Y, Pérez Romero Y, Salas Hechavarria S, Dávila Hernández F. Herramienta informática para la determinación de acciones de salud relacionadas con la hipertensión arterial. [cited 2025 Mar 24];RCIM. 2014 6(1):87–98. [Internet] Available from: https://dialnet.unirioja.es/servlet/articulo?codigo=10037238 . [Google Scholar]
  • 21.Hoffmann W, Kuecuekbalaban P, Schumann M, Kraft K, Gebauer A, Muehlan H, et al. Opportunities and risks of diagnostic lab-on-a-chip systems in healthcare from a health system stakeholder’s perspective. Personal Med. 2014;11(3):273–283. doi: 10.2217/pme.14.14. [DOI] [PubMed] [Google Scholar]
  • 22.Rêgo LDP, Santos LMA, Santos ALS. Elaboração e consenso de uma tecnologia assistencial para avaliação clínica de enfermagem no período pós-operatório. Espaço Saúde. 2014. [cited 2025 Mar 16]. pp. 76–85. [Internet] Available from: https://espacoparasaude.fpp.edu.br/index.php/espacosaude/article/view/551/pdf_49 .
  • 23.Cooper NAM, Barton PM, Breijer M, Caffrey O, Opmeer BC, Timmermans A, et al. Cost-effectiveness of diagnostic strategies for the management of abnormal uterine bleeding (heavy menstrual bleeding and post-menopausal bleeding): a decision analysis. Health Technol Assess. 2014;18(24):1–201. doi: 10.3310/hta18240. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 24.Francis JJ, et al. Selective decontamination of the digestive tract in critically ill patients treated in intensive care units: a mixed-methods feasibility study (the SuDDICU study) Health Technol Assess. 2014;18(25):1–182. doi: 10.3310/hta18250. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 25.Berrospi Polo V, Rodriguez Abad J, Bobadilla Aguilar J, Di Liberto Moreno C, Díaz Arroyo C, Rafael Quipan C. Desarrollo de un servicio en línea para la gestión tecnológica en salud. [cited 2025 Mar 16];Rev Peru Med Exp Salud Publica. 2015 32(4):724–730. [Internet] Available from: http://www.scielo.org.pe/pdf/rins/v32n4/a14v32n4.pdf . [PubMed] [Google Scholar]
  • 26.Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev Latino-Am Enfermagem. 2015;23(2):242–249. doi: 10.1590/0104-1169.3562.2548. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 27.Facey K, Henshall C, Sampietro-Colom L, Thomas S. Improving the effectiveness and efficiency of evidence production for health technology assessment. Int J Technol Assess Health Care. 2015;31(4):255–260. doi: 10.1017/S0266462315000355. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 28.Cancela J, Fico G, Arredondo Waldmeyer MT. Usando o Processo de Hierarquia Analítica para entender os fatores mais importantes para projetar e avaliar um sistema de telessaúde para a doença de Parkinson. BMC Med Inform Decis Mak. 2015;15:1–11. doi: 10.1186/s12911-015-0174-4. [DOI] [Google Scholar]
  • 29.Baldo C, Zanchim MC, Kirsten VK, Marchi ACB. Diabetes Food Control: um aplicativo móvel para avaliação do consumo alimentar de pacientes diabéticos. Rev Eletr Comun Inform Inov Saúde. 2015;9(3) doi: 10.29397/reciis.v9i3.1000. [DOI] [Google Scholar]
  • 30.Caron J, Biduski D, Marchi ACB. Alz Memory: um aplicativo móvel para treino de memória em pacientes com Alzheimer. Rev Eletr Comun Inform Inov Saúde. 2015;9(2) doi: 10.29397/reciis.v9i2.964. [DOI] [Google Scholar]
  • 31.Pichon-Riviere A, Glujovsky D, Garay OU, Augustovski F, Ciapponi A, Serpa M, et al. Oxytocin in uniject disposable auto-disable injection systemversus standard use for the prevention of postpartum hemorrhage in Latin America and the Caribbean: a cost-effectiveness analysis. PLoS ONE. 2015;10(6):e0129044. doi: 10.1371/journal.pone.0129044. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 32.Carvalho LR, Évora YDM, Zem-Mascarenhas SH. Assessment of the usability of a digital learning technology prototype for monitoring intracranial pressure. Rev Latino-Am Enfermagem. 2016;24:e2777. doi: 10.1590/1518-8345.1054.2777. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 33.Mazón P, Galve E, Gómez J, Gorostidi M, Górriz JL, Mediavilla JD. Consenso de médicos expertos en HTA sobre el uso clínico de la triple terapia antihipertensiva a dosis fija en España. Hipertens Riesgo Vasc. 2016;33(4):133–144. doi: 10.1016/j.hipert.2016.03.001. [DOI] [PubMed] [Google Scholar]
  • 34.Carlos DAAO, Magalhães TO, Vasconcelos JE, Filho, Silva RM, Brasil CCP. Concepção e Avaliação de Tecnologia mHealth para Promoção da Saúde Vocal. RISTI Rev Ibérica Sist Tecnol Inf. 2016;19:46–60. doi: 10.17013/risti.19.46-60. [DOI] [Google Scholar]
  • 35.Markiewicz K, Van Til JA, Steuten LMG, Ijzerman MJ. Viabilidade comercial de dispositivos médicos usando Headroom e cálculo de retorno sobre o investimento. Technol Forecast Soc Change. 2016;112:338–346. doi: 10.1016/j.techfore.2016.07.041. [DOI] [Google Scholar]
  • 36.Luime JJ, Buisman LR, Oppe M, Hazes JM, Rutten-van Mölken MP. Cost-effectiveness model for evaluating new diagnostic tests in the evaluation of patients with inflammatory arthritis at risk of having rheumatoid arthritis. Arthritis Care Res. 2016;68(7):927–935. doi: 10.1002/acr.22776. [DOI] [PubMed] [Google Scholar]
  • 37.Negandhi P, Chauhan M, Ankan M, Sharma J, Neogi S, Sethy G. Tecnologia de saúde baseada em tablet para fortalecer o rastreamento materno-infantil em Bihar. J Ind Saúde Pública. 2016;60(4):329–333. doi: 10.4103/0019-557X.195868. [DOI] [Google Scholar]
  • 38.Leskelä R-L, Herse F, Torkki P, Laine J, Vilkuna T, Raittikainen T. Análise da adoção de novas tecnologias em saúde: o caso da doença de Dupuytren. Int J Health Technol Manag. 2016;15(3):210–227. doi: 10.1504/IJHTM.2016.078360. [DOI] [Google Scholar]
  • 39.Bierut A, Dowgiałło-Smolarczyk J, Pieniążek I, Stelmachowski J, Pacocha K, Sobkowski M, et al. Misoprostol vaginal insert in labor induction: a cost-consequences model for 5 European countries: an economic evaluation supported with literature review and retrospective data collection. Adv Ther. 2016;33:1755–1770. doi: 10.1007/s12325-016-0397-3. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 40.Camacho-Cogollo JE, Torres-Velez DM, Chavarria T. Gestión de equipos médicos: implementación y validación de una herramienta de auditoría. Rev Mex Ing Bioméd. 2017;38(1):76–92. doi: 10.17488/rmib.38.1.5. [DOI] [Google Scholar]
  • 41.Blom L, Boissin C, Allorto N, Wallis L, Hasselberg M, Laflamme L. Accuracy of acute burns diagnosis made using smartphones and tablets: a questionnaire-based study among medical experts. BMC Emerg Med. 2017;17:39. doi: 10.1186/s12873-017-0151-4. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 42.Martínez AC, Balbino JE, Lemgruber A, Martín Ruiz E, Lima AOL, García-Mochón L, et al. Adoption of the HPV vaccine: a case study of three emerging countries. J Comp Eff Res. 2017;6(3):253–264. doi: 10.2217/cer-2016-0071. [DOI] [PubMed] [Google Scholar]
  • 43.Zhu J, Ebert L, Xue Z, Shen Q, Chan SW-C. Development of a mobile application of Breast Cancer e- Support program for women with breast cancer undergoing chemotherapy. Technol Health Care. 2017;25(2):377–382. doi: 10.3233/THC-161292. [DOI] [PubMed] [Google Scholar]
  • 44.Terjesen CL, Kovaleva J, Ehlers L. Early assessment of the likely cost-effectiveness of singleuse flexible video bronchoscopes. Pharmaco Econ Open. 2017;1:133–141. doi: 10.1007/s41669-017-0012-9. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 45.Knuttel FM, Huijsse SEM, Feenstra TL, Moonen CTW, van den Bosch MAAJ, Buskens E, et al. Early health technology assessment of magnetic resonance-guided high intensity focused ultrasound ablation for the treatment of early-stage breast cancer. J Ther Ultrasound. 2017;5:23. doi: 10.1186/s40349-017-0101-3. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 46.Naughton B, Roberts L, Dopson S. Medicine authentication technology as a counterfeit medicine-detection tool: a Delphi method study to establish expert opinion on manual medicine authentication technology in secondary care. BMJ Open. 2017;7:e013838. doi: 10.1136/bmjopen-2016-013838. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 47.Willits I, Cole H, Jones R, Carter K, Arber M, Jenks M, et al. Spectra Optia® for automated red blood cell exchange in patients with sickle cell disease: a NICE medical technology guidance. Appl Health Econ Health Policy. 2017;15:455–468. doi: 10.1007/s40258-016-0302-x. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 48.Pinheiro DGM, Coelho TPM, Silva CF, Silva LAS, Chiesa AM, Fracolli LA. Validação de conteúdo do programa de visita domiciliar para a díade mãe-criança. Ciênc Saúde. 2018;23(2):e54055. doi: 10.5380/ce.v23i2.54055. [DOI] [Google Scholar]
  • 49.Nascimento MHM, Teixeira E. Educational technology to mediate care of the “kangaroo family” in the neonatal unit. Rev Bras Enferm. 2018;71(Suppl 3):1290–1297. doi: 10.1590/0034-7167-2017-0156. [DOI] [PubMed] [Google Scholar]
  • 50.Alvarez AG. Análise de qualidade de objeto virtual de aprendizagem para avaliação da dor em enfermagem. [cited 2025 Mar 17];Rev Cuba Enferm. 2018 34(3) [Internet] Available from: https://revenfermeria.sld.cu/index.php/enf/article/view/1447 . [Google Scholar]
  • 51.Ebbing J, Jäderling F, Collins JW, Akre O, Carlsson S, Höijer J, et al. Comparison of 3D printed prostate models with standard radiological information to aid understanding of the precise location of prostate cancer: a construct validation study. PLoS ONE. 2018;13(6):e0199477. doi: 10.1371/journal.pone.0199477. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 52.Chen C, Hanson M, Chaturvedi R. Economic benefits of microprocessor-controlled prosthetic knees: modeling study. [cited 2025 Mar 16];J Neuroeng Rehabil. 2018 15(Suppl 1):62. doi: 10.1186/s12984-018-0405-8. [Internet] [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 53.Herrera MF, García-García E, Arellano-Ramos JF. Metabolic surgery for the treatment of diabetes mellitus: positioning of leading medical associations in Mexico. Obes Surg. 2018;28:3474–3483. doi: 10.1007/s11695-018-3357-y. [DOI] [PubMed] [Google Scholar]
  • 54.Docking RE, Lane M, Schofield PA. Usability testing of the iphone app to improve pain assessment for older adults with cognitive impairment (prehospital setting): a qualitative study. [cited 2025 Mar 16];Pain Med. 2018 19(6):1121–1131. doi: 10.1093/pm/pnx028. [Internet] [DOI] [PubMed] [Google Scholar]
  • 55.Colín-Ramírez E, Cartas-Rosado R, Miranda Alatriste PV, Espinosa Cuevas Á, Arcand J, Morales Guerrero JC, et al. Development of an online tool for sodium intake assessment in Mexico. Rev Panam Salud Publica. 2019;43:e90. doi: 10.26633/RPSP.2019.90. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 56.José HPM, Konrad LM, Ribeiro CG, Benedetti TRB. Validação do treinamento on-line para multiplicadores do programa vida ativa melhorando a saúde (VAMOS) [cited 2025 Mar 16];J Phys Educ. 2019 30:e3040. [Internet] Available from: https://www.scielo.br/j/jpe/a/Mw6Q3yxpSpNQVtYvZ7nWX9L/?lang=pt . [Google Scholar]
  • 57.Rocha GS, Oliveira APP, Teixeira E, Nemer CRB. Validação de manual de cuidados de idosos após cirurgia cerebral. Rev Enferm UFPE. 2019;13:e243025. doi: 10.5205/1981-8963.2019.243025. [DOI] [Google Scholar]
  • 58.Bonifácio LP, Souza JP, Vieira EM. Adaptação de mensagens educativas para parceiros de gestantes para uso em tecnologias móveis em saúde (mHealth) Interface (Botucatu) 2019;23:e180250. doi: 10.1590/Interface.180250. [DOI] [Google Scholar]
  • 59.Moura TNB, Moreira TMM, Sousa AD, Santos AC, Neto, Sousa RX, Lima LHO. Development and validation of a smartphone educational game regarding healthy lifestyle habits for adolescents. Texto Contexto Enferm. 2019;28:e20180252. doi: 10.1590/1980-265X-TCE-2018-0252. [DOI] [Google Scholar]
  • 60.Law M, Sutherland C, Ahn HS. Desenvolvimento de robôs assistivos para pessoas com comprometimento cognitivo leve e demência leve: um estudo qualitativo com idosos e especialistas em cuidados a idosos. BMJ Open. 2019;9:e031937. doi: 10.1136/bmjopen-2019-031937. [DOI] [Google Scholar]
  • 61.Murphy AM, Bergquist F, Hagström B. An upper body garment with integrated sensors for people with neurological disorders: early development and evaluation. BMC Biomed Eng. 2019;1(3) doi: 10.1186/s42490-019-0002-3. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 62.Jain YS, Garg A, Jhamb DK, Jain P, Karar A. Reparando a Índia para alavancar o poder da tecnologia móvel: desenvolvimento de uma ferramenta de saúde móvel bilíngue para pacientes cardíacos. Agentes Cardiovasc Hematol Quím Med. 2019;17(2):125–134. doi: 10.2174/1871525717666190912152938. [DOI] [PubMed] [Google Scholar]
  • 63.Ferreira JSSP, Sacco ICN, Siqueira AA, Almeida MHM, Sartor CD. Rehabilitation technology for self-care: customised foot and ankle exercise software for people with diabetes. PLoS ONE. 2019;14(6):e0218560. doi: 10.1371/journal.pone.0218560. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 64.Ferreira DS, Teixeira E, Brown DO, Koch R, Monteiro WF, Santos ER, et al. Validação de conteúdo de uma tecnologia educacional sobre saúde do homem. Rev Baiana Enferm. 2020:34. doi: 10.18471/rbe.v34.36344. [DOI] [Google Scholar]
  • 65.Konrad LM, Ribeiro CG, Tomicki C, Benedetti TRB. Validação de tecnologia educacional para implementar um programa comunitário na saúde pública. Rev Bras Ativ Fís Saúde. 2020;25:1–6. doi: 10.12820/rbafs.25e0155. [DOI] [Google Scholar]
  • 66.Andrade RD, Hilário JSM, Santos JS, Silva JP, Fonseca LMM, Mello DF. Maternal-child nursing care for adolescent mothers: health education. Rev Bras Enferm. 2020;73(4):e20180769. doi: 10.1590/0034-7167-2018-0769. [DOI] [PubMed] [Google Scholar]
  • 67.Schairer CE, Triplett C, Buchman A, Akbari OS, Bloss CS, et al. Interdisciplinary development of a standardized introduction to gene drives for lay audiences. BMC Med Res Methodol. 2020;20:273. doi: 10.1186/s12874-020-01146-0. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 68.Spratling R, Faulkner MS, Chambers R, Lawrence P, Feinberg I, Hayat MJ. Establishing fidelity for the creating opportunities for personal empowerment: symptom and technology management resources (COPE-STAR) intervention. J Adv Nurs. 2020;76(11):2819–2828. doi: 10.1111/jan.14552. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 69.Jorge MSB, Costa LSP, Carvalho MRR, Mamede RSB, Morais JB, Paula ML. Mobile web application for use in the Extended Family Health and Primary Care Center: content and usability validation. Rev CEFAC. 2020;22(3):e3519. doi: 10.1590/1982-0216/20202233519. [DOI] [Google Scholar]
  • 70.Santos SV, Ramos FRS, Costa R, Batalha LMC. Assessment of the quality of a software application for the prevention of skin lesions in newborns. Rev Latino-Am Enfermagem. 2020;28:e3352. doi: 10.1590/1518-8345.3711.3352. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 71.Graham T, Sooriah S, Box R, Gage U, Williams P, Clemett V, et al. Co-design participativo de indicadores de resultados relatados pelo paciente e avaliação N-de-1 de uma luva de curativo para Epidermólise bolhosa. J Wound Care. 2020;29(12):751–758. doi: 10.12968/jowc.2020.29.12.751. [DOI] [PubMed] [Google Scholar]
  • 72.Parreira P, Sousa LB, Marques IA, Costa P, Cortez S, Carneiro F, et al. Development of an innovative double-chamber syringe for intravenous therapeutics and flushing: nurses’ involvement through a human-centred approach. PLoS ONE. 2020;15(6):e0235087. doi: 10.1371/journal.pone.0235087. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 73.Romero-López-Alberca C, Alonso-Trujillo F, Almenara-Abellán JL, Salinas-Pérez JA, Gutiérrez- Colosía MR, González-Caballero JL, et al. A semiautomated classification system for producing service directories in social and health care (DESDE-AND): maturity assessment study. J Med Internet Res. 2021;23(6):e24930. doi: 10.2196/24930. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 74.Bownes J, Varsou O, Turbitt L, Laurent DBS. Identifying anatomical structures on ultrasound: assistive artificial intelligence in ultrasound-guided regional anesthesia. Clin Anat. 2021;34(4):538–544. doi: 10.1002/ca.23742. [DOI] [PubMed] [Google Scholar]
  • 75.Shah K, Pandya A, Kotwani P, Saha S, Desai C, Tyagi K, et al. Cost-effectiveness of portable electrocardiogram for screening cardiovascular diseases at a primary health center in Ahmedabad District, India. Front Public Health. 2021;9:753443. doi: 10.3389/fpubh.2021.753443. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 76.Soares AC, Rêgo AS, Rodrigues TFCS, Cardoso LCB, Rossaneis MA, Carreira L, et al. Construction and validation of self-care educational technology for caregivers. Rev Bras Enferm. 2021;74(4):e20200215. doi: 10.1590/0034-7167-2020-0215. [DOI] [PubMed] [Google Scholar]
  • 77.Chang WC, Lin AY, Hsu JC, Wu CE, Goh C, Chou P, et al. A cost-utility analysis of avelumab for metastatic Merkel cell carcinoma in Taiwan. Cancer Reports. 2021;4(3):e1399. doi: 10.1002/cnr2.1399. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 78.Souza MR, Oliveira MLC, Barbosa EMC, Menezes EG, Araújo GS, Nascimento SM, et al. Validação de conteúdo: aplicativo móvel safe heart para monitoramento e identificação de risco de infarto. [cited 2025 mar 18];Rev Baiana Enferm. 2024 :35. [Internet] Available from: https://periodicos.ufba.br/index.php/enfermagem/article/view/44403 . [Google Scholar]
  • 79.Gagnon Shaigetz V, Proulx C, Cabral A, Choudhury N, Hewko M, Kohlenberg E, et al. An immersive and interactive platform for cognitive assessment and rehabilitation (bWell): design and iterative development process. JMIR Rehabil Assist Technol. 2021;8(4):e26629. doi: 10.2196/26629. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 80.Jauk S, Kramer D, Avian A. Technology acceptance of a machine learning algorithm predicting delirium in a clinical setting: a mixed-methods study. J Med Syst. 2021;45(48) doi: 10.1007/s10916-021-01727-6. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 81.Mishra V, Singh J. Health technology assessment of telemedicine interventions in diabetes management: evidence from UAE. FIIB Bus Rev. 2022 doi: 10.1177/23197145221130651. [DOI] [Google Scholar]
  • 82.Serrano C, Brink HVD, Pineau J, Prognon P, Martelli N. Organizational Impact of 3D Printing Technology in Surgery: Which Criteria to Evaluate? J 3D Print Med. 2022;6(3):109–116. doi: 10.2217/3dp-2021-0023. [DOI] [Google Scholar]
  • 83.Kobo-Greenhut A, Frankenthal H, Darawsha A, Karasik A, BEJA AZ, Ben Hur T, et al. A non-invasive direct nose to brain drug delivery platform vs. invasive brain delivery approach: patient-centered care impact analysis. Drug Deliv. 2022;29(1):1754–1763. doi: 10.1080/10717544.2022.2080889. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 84.Eumbunnapong K, Wannapiroon P, Pornpoongtechavanich P. An intelligent digital learning platform to enhance digital health literacy. Int J Emerg Technol. 2022;17(4) doi: 10.3991/ijet.v17i04.27907. [DOI] [Google Scholar]
  • 85.Balestrin M, Brasil CCB, Bellei EA, Marchi ACBD, Kirsten VR, Wagner MB. Cantinas Survey: proposição e avaliação de um aplicativo para análise do risco sanitário e dos alimentos comercializados em cantinas escolares. Rev Eletron Comun Inf Inov Saúde. 2022;16(3):704–718. doi: 10.29397/reciis.v16i3.2367. [DOI] [Google Scholar]
  • 86.Dantas DC, Góes FGB, Santos AST, Silva ACSS, Silva MA, Silva LF. Production and validation of educational video to encourage breastfeeding. Rev Gaúcha Enferm. 2022;43:e20210247. doi: 10.1590/1983-1447.2022.20210247.en. [DOI] [PubMed] [Google Scholar]
  • 87.Veríssimo JL, Sacco ICN, Almeida MHM, Sartor CDS, Suda EY. Development of a customized booklet of foot-ankle exercises for people with diabetes mellitus as a management and prevention tool for musculoskeletal complications: a customized booklet of foot-ankle exercises for people with diabetes. Braz J Phys Ther. 2022;26(3):100402. doi: 10.1016/j.bjpt.2022.100402. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 88.Jafri L, Abid MA, Rehman J, Ahmed S, Abbas G, Ali H, et al. Development of a virtual classroom for pre-analytical phase of laboratory medicine for undergraduate medical students using the Delphi technique. PLOS ONE. 2022;17(4):e0264447. doi: 10.1371/journal.pone.0264447. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 89.Dals J, Demirel D, Halic T, De S, Ryason A, Kundumadam S, et al. Hierarchical task analysis of endoscopic sleeve gastroplasty. Surg Endosc. 2022;36:5167–5182. doi: 10.1007/s00464-021-08893-1. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 90.Ferrario L, Garagiola E, Gerardi C, et al. Innovative and conventional “conservative” technologies for the treatment of uterine fibroids in Italy: a multidimensional assessment. Health Econ Rev. 2022;12:21. doi: 10.1186/s13561-022-00367-x. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 91.Mota ANB, Turrini RNT. Usability assessment of a mobile app for patients with peripherally inserted central catheters. Rev Latino-Am Enfermagem. 2022;30:e3666. doi: 10.1590/1518-8345.5817.3666. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 92.Oliveira CRT, Macedo LFR, Pinheiro PG, Meneses JCBC, Menezes LCG, Marques ADB, et al. Vigipé®: tecnologia de estratificação de risco dos pés de pacientes com diabetes mellitus. Cogitare Enferm. 2023;28:e87621. doi: 10.1590/ce.v28i0.87621. [DOI] [Google Scholar]
  • 93.Caillon M, Brethon B, Beurden-Tan CV. Cost-effectiveness of blinatumomab in pediatric patients with high-risk first-relapse B-cell precursor acute lymphoblastic leukemia in France. Pharmaco Econ Open. 2023;7:639–653. doi: 10.1007/s41669-023-00411-4. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 94.Mishra RK, Park C, Momin AS, El Rafxaei N, Kunik M, York MK, et al. Care4AD: a technologydriven platform for care coordination and management: acceptability study in dementia. Gerontol. 2023;69(2):227–238. doi: 10.1159/000526219. [DOI] [PubMed] [Google Scholar]
  • 95.Federici C, Callea G, Testoni PA, Costamagna G, Trentino P, Repici A. Cost-effectiveness analysis of radiofrequency ablation in patients with barrett esophagus and high-grade dysplasia or low-grade Dysplasia. Clin Therap. 2023;45(5):426–436. doi: 10.1016/j.clinthera.2023.04.007. [DOI] [PubMed] [Google Scholar]
  • 96.Ferrario L, Asperti F, Aprile G, Giuliani J. HTA and Gastric Cancer: Evaluating Alternatives in Thirdand Fourth-Line Patients. Int J Environ Res Public Health. 2023;20(3):2107. doi: 10.3390/ijerph20032107. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 97.Lostelius PV, Mattebo M, Adolfsson ET, et al. Development and usability evaluation of an electronic health report form to assess health in young people: a mixed-methods approach. BMC Med Inform Decis Mak. 2023;23:91. doi: 10.1186/s12911-023-02191-7. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 98.Rêgo AS, Filipe L, Dias RA, Alves FS, Queiroz J, Ainla A, et al. End-user assessment of an innovative clothing-based sensor developed for pressure injury prevention: a mixed-method study. Int J Environ Res Public Health. 2023;20(5):4039. doi: 10.3390/ijerph20054039. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 99.Soto-Mora JA, Gómez-Espitia LM, Lasalvia P, Castellanos Moreno CA, Casallas Vanegas CA, Londoño Gutiérrez SA. Effectiveness and safety of caplacizumab in acquired thrombotic thrombocytopenic purpura: health technology assessment and classification according to the methodology established in Colombia. Int J Technol Assess Health Care. 2023;39(1):e48. doi: 10.1017/S0266462323000442. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 100.Borsoi L, Armeni P, Brandi ML. Cost-minimization analysis to support the HTA of Radiofrequency Echographic Multi Spectrometry (REMS) in the diagnosis of osteoporosis. Glob Reg Health Technol Assess. 2023;10:1–11. doi: 10.33393/grhta.2023.2492. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 101.Ming J, He Y, Yang Y, et al. Health technology assessment of medical devices: current landscape, challenges, and a way forward. Cost Eff Resour Alloc. 2022;20:54. doi: 10.1186/s12962-022-00389-6. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 102.Santos KDS, Ribeiro MC, Queiroga DEU, Silva IAP, Ferreira SMS. O uso de triangulação múltipla como estratégia de validação em um estudo qualitativo. Ciên Saúde Coletiva. 2020;25(2):655–664. doi: 10.1590/1413-81232020252.12302018. [DOI] [PubMed] [Google Scholar]
  • 103.Fontrier AM, Visintin E, Kanavos P. Similarities and differences in health technology assessment systems and implications for coverage decisions: evidence from 32 countries. Pharmaco Econ Open. 2022;6:315–328. doi: 10.1007/s41669-021-00311-5. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 104.Grigore B, Peters J, Hyde C, Stein K. EXPLICIT: a feasibility study of remote expert elicitation in health technology assessment. BMC Med Inform Decis Mak. 2017;17(1):131. doi: 10.1186/s12911-017-0527-0. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 105.Torres FBG, Gomes DC, Dhein MM, Hino AF, Cubas MR. Validações de conceitos da classificação internacional para a prática de enfermagem: revisão integrativa. Res, Soc Develop. 2022;11(12):e327111234674. doi: 10.33448/rsd-v11i12.34674. [DOI] [Google Scholar]
  • 106.O’Rourke B, Oortwijn W, Schuller T. The new definition of health technology assessment: a milestone in international collaboration. Int J Technol Assessm Health Care. 2020;36(3):187–190. doi: 10.1017/S0266462320000215. [DOI] [PubMed] [Google Scholar]
  • 107.Daniels N, Porteny T, Urritia J. HTA. Expandida: aumentando a justiça e a legitimidade. Int J Gestão de Política de Saúde. 2015;5(1):1–3. doi: 10.15171/ijhpm.2015.187. Erratun in: Int J Gestão de Política de Saúde. 2016;5(5):347. [DOI] [Google Scholar]
  • 108.Toscas FS, Blas DLO, Teixeira LAA, Santos MDS, Dias EM. Domains and methods of medical device technology evaluation: a systematic review. Public Health Rev. 2024;45:1606343. doi: 10.3389/phrs.2024.1606343. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 109.Gonçalves APV, Santos RSP. A pesquisa quantitativa em sociologia: recursos e dilemas da realização de surveys online com trabalhadores durante a pandemia de COVID-19. Sociol Antropol. 2023;13(2) doi: 10.1590/2238-38752023v13211. [DOI] [Google Scholar]
  • 110.O’Callaghan J, Tilson L, Fogarty E, McCullagh L. Clinical expert opinion to inform Health Technology Assessment. [cited 2025 Feb 23];Ir Med J. 2023 116(8):826. [Internet] Available from: https://www.imj.ie/wp-content/uploads/2023/09/Clinical-expert-opinion-to-inform-Health-Technology-Assessment.pdf . [PubMed] [Google Scholar]
  • 111.Silva MR, Montilha RCI. Contribuições da técnica Delphi para a validação de uma avaliação de Terapia Ocupacional em deficiência visual. Cad Bras Ter Ocup. 2021;29:e2863. doi: 10.1590/2526-8910.ctoAO2163. [DOI] [Google Scholar]
  • 112.Bastos JES, Sousa JMJ, Silva PMN, Aquino RL. O Uso do Questionário como Ferramenta Metodológica: potencialidades e desafios. Braz J Implantol Health Sci. 2023;5(3):623–636. doi: 10.36557/2674-8169.2023v5n3p623-636. [DOI] [Google Scholar]
  • 113.Batista BF, Rodrigues D, Moreira E, Silva F. Técnicas de recolha de dados em investigação: inquirir por questionário e/ou inquirir por entrevista. In: Sá P, Costa AP, Moreira A., editors. Reflexões em torno de Metodologias de Investigação: recolha de dados. 1. Vol. 2. UA Editora; 2021. pp. 13–21. [DOI] [Google Scholar]
  • 114.Santos JLG, Fabrizzio GCF, Peiter CC, Mattia DD, Perin D, Lorenzini E. Caracterização das pesquisas de métodos mistos em enfermagem publicadas no Journal of Mixed Methods Research. Rev Enferm UFSM. 2019;9(NEsp):e7. doi: 10.5902/2179769241298. [DOI] [Google Scholar]
  • 115.Alves JG, Braga LP, Souza CS, Pereira EV, Mendonça GUG, Oliveira CAN, et al. Grupo focal on-line para a coleta de dados de pesquisas qualitativas: relato de experiência. Esc Anna Nery. 2023;27:e20220447. doi: 10.1590/2177-9465-EAN-2022-0447pt. [DOI] [Google Scholar]
Rev Bras Enferm. 2026 Mar 16;79:e20250157. [Article in Portuguese] doi: 10.1590/0034-7167-2025-0157pt

Participação de especialistas no processo de avaliação de tecnologias em saúde: revisão de escopo

Sandra Maria dos Santos Figueiredo I, Fernanda de Nazaré Almeida Costa II, Marcia Helena Machado Nascimento II, Cristiane Cardoso de Paula III, Liane Bahú Machado III, Eliana Rosa da Fonseca IV, Elizabeth Teixeira II

RESUMO

Objetivos:

mapear evidências sobre a participação de especialistas no processo de avaliação de tecnologias em saúde.

Métodos:

revisão de escopo pelo método JBI, com busca nas bases de dados MEDLINE/PubMed, Scopus, EMBASE/Elsevier, WoS/Clarivate, CINAHL, ASP/EBSCO, APA PsycINFO, ERIC, LILACS/BVS, SciELO e INAHTA. Foram considerados artigos originais publicados de 2013-2023. Dados foram extraídos de 89 estudos, analisados com estatística descritiva.

Resultados:

entre três e 15 especialistas (64% dos estudos) participaram. A avaliação do atributo propriedade ocorreu em dispositivos digitais, não digitais, sistemas de gestão, equipamentos (93,1%, 94,2%, 60%, 33,3%, respectivamente), do atributo custo-efetividade, em medicamentos (60%), e do atributo utilidade, em procedimentos médico-cirúrgicos (31,6%). A participação foi online em dispositivos digitais e não digitais (53% e 52%, respectivamente), presencial, em equipamentos (77,7%), e mista, nas demais tipologias.

Conclusões:

é necessário estruturar a avaliação de acordo com as características específicas da tipologia de tecnologia, fornecendo insights para implementação de inovações nesse setor.

Descritores: Avaliação da Tecnologia Biomédica, Revisão por Pares, Tecnologia Biomédica, Equipamentos e Provisões, Métodos.

INTRODUÇÃO

As tecnologias em saúde são classificadas segundo natureza do material: medicamento (MED); equipamento e suprimento (EQS); procedimento médico-cirúrgico (PMC); sistema de gestão (SG); e dispositivo digital (DD)(1). MED e EQS são consideradas como tecnologias biomédicas, que são aquelas que interagem diretamente com os usuários; PMC constitui as tecnologias médicas, que são essenciais para qualidade na aplicação das tecnologias biomédicas, como técnicas cirúrgicas, normas técnicas, entre outras; SG se refere a sistemas de suporte organizacional, que englobam uma estrutura de apoio técnico e administrativo, e sistemas de informação e organização da prestação da atenção à saúde, que, junto com as tecnologias médicas, compõem as tecnologias de atenção à saúde; e DD é intervenção acessível por meio de dispositivos móveis. Existem outras classificações quanto ao propósito da tecnologia e estágio de difusão(1), inclusive tipologias utilizadas pela enfermagem brasileira.

Os ciclos de vida de uma tecnologia são inovação, difusão inicial, incorporação, utilização em larga escala e abandono. O processo de inovação tecnológica (primeira fase do ciclo) começa com a invenção de um novo produto, processo, ou prática, e se encerra por ocasião da primeira utilização prática (difusão inicial - segunda fase do ciclo)(2). A avaliação se dá tanto na fase de desenvolvimento ou criação do produto (anterior ao registro) quanto na fase de incorporação e utilização do produto (após a aplicação).

Entretanto, o processo de avaliação evolui para abordagens mais construtivas desde o início da tecnologia até sua obsolescência. Portanto, novos conceitos estão sendo aplicados, como aconselhamento científico, diálogo precoce, observação pós-introdução de tecnologias em saúde adequação, reavaliação e desinvestimento, entre outros(2). Está em discussão a adoção do conceito de “abordagem de ciclo de vida” mais completa e holística, que pode promover o engajamento das partes interessadas e a geração de evidências robustas(3).

A avaliação de tecnologias em saúde (ATS) é um processo multidisciplinar que utiliza métodos explícitos para determinar o valor de uma tecnologia em saúde em diferentes pontos de seu ciclo de vida. O objetivo é informar a tomada de decisão para promover um sistema de saúde equitativo, eficiente e de alta qualidade(4).

A maioria das ATSs se concentra na medicina clínica e em produtos farmacêuticos, resultando em uma escassez de avaliações voltadas para intervenções em saúde pública(5). A avaliação de intervenções complexas na saúde pública enfrenta desafios, incluindo a heterogeneidade das evidências, que decorre da diversidade metodológica dos estudos. A ATS contribui para essa legitimidade com conteúdo e procedimentos, com o conteúdo sendo a evidência robusta e confiável que será usada para tomada de decisão informada, enquanto os procedimentos se relacionam aos princípios de boa governança que, em última análise, constroem confiança(6).

Destaca-se que, em todas as fases e ciclos de vida de uma tecnologia, diferentes atores podem participar no processo de avaliação. Cada etapa do processo de ATS utiliza diferentes fontes de informação e envolve diferentes grupos de pessoas(7). O especialista no processo de ATS se refere aos indivíduos externos, não sendo integrantes habituais da equipe de ATS, que detêm conhecimento ou expertise especializada em um domínio pertinente. O termo “opinião de especialista” abrange as contribuições que esses indivíduos podem oferecer ao processo de ATS, incluindo dados quantitativos e qualitativos, bem como experiências e avaliações de valor(8).

Para verificar a necessidade e exequibilidade do mapeamento de experiências metodológicas e lacunas neste campo da participação de especialistas no processo de ATS, foi desenvolvida uma busca preliminar de protocolos e/ou relatórios de revisões. Considerando as fontes de informação Medical Literature Analysis and Retrieval System Online (MEDLINE)/PubMed, Cochrane Database of Systematic Reviews, JBI Evidence Synthesis, International Prospective Register of Systematic Reviews e Open Science Framework (OSF), foram identificadas 2.197 referências. Essa pré-análise identificou uma revisão de diretriz que reforça a importância de se considerar o uso da opinião de especialistas na ATS, com menção que, apesar das recomendações existentes, há escassez de relatos sobre os métodos de elicitação de especialista(8). A participação de especialistas ocorre por meio de diversas modalidades, as quais podem ser sistematicamente mapeadas na literatura, favorecendo a tomada de decisão metodológica em estudos envolvendo especialistas na ATS.

OBJETIVOS

Mapear as evidências sobre a participação de especialistas no processo de ATS.

MÉTODOS

Aspectos éticos

Por se tratar de estudo secundário, com extração de dados disponíveis na literatura, não houve a necessidade de apreciação ética. Destaca-se que foram respeitados os direitos autorais com devida citação e referenciamento dos estudos primários.

Desenho do estudo

Trata-se de revisão de escopo, conduzida a partir do método do JBI(9). Para qualidade e transparência da redação, foi aplicado o Preferred Reporting Items for Systematic reviews and Meta- Analyses extension for Scoping Reviews (10). O protocolo foi registrado no OSF (https://doi.org/10.17605/OSF.IO/RE8TW).

Estratégia de busca e fonte de dados

Adotou-se o mnemônico PCC para estruturar a questão da revisão e o mapeamento de termos, para composição da estratégia de busca nas fontes de informação: População (P): especialistas; Conceito (C): ATS; Contexto (C): qualquer cenário da área da saúde. A pergunta de revisão foi: quais as características da participação de especialistas em processo de ATS?

A estratégia de busca foi estruturada por uma bibliotecária com expertise em estudos de revisão na área da saúde. Para elaboração da estratégia, foi desenvolvido o mapeamento de termos utilizando, primeiramente, os descritores e palavras utilizadas na busca preliminar, o qual foi ampliado com a pré-análise dos documentos identificados, incluindo outros termos contidos nos títulos, resumos e termos de indexação. Assim, foi estruturada a estratégia de busca aplicada ao MEDLINE/PubMed: (Specialist*[tiab] OR expert*[tiab] OR “Consensus”[mh] OR Consensus[tiab] OR “Consensus Development”[tiab] OR “expert committee”[tiab] OR “expert panel”[tiab] OR “expert elicitation”[tiab] OR “effectiveness assessment”[tiab] OR “expert views”[tiab] OR “expert committee”[tiab] OR “expert panel”[tiab] OR “expert elicitation”[tiab] OR “Delphi Technique”[mh] OR “Delphi Method”[tiab] OR “Delphi Studies”[tiab] OR “Delphi Study”[tiab] OR Delphi Technic*[tiab] OR Delphi Technique*[tiab])) AND (“Technology Assessment, Biomedical”[mh] OR “Biomedical Technology Assessment”[tiab] OR (“Biomedical Technology”[mh] AND assessment*[tiab]) OR Health Technology Assessment*[tiab] OR HTA[tiab] OR ((Health Technolog*[tiab] OR Health Care Technolog*[tiab] OR Health Technolog*[tiab] OR Medical Technolog*[tiab] OR care technolog*[tiab] OR caring technolog*[tiab]) AND (assessment*[tiab])))) AND (((2013:2022[pdat]) AND (English[Filter] OR Portuguese[Filter] OR Spanish[Filter]))). Esta estratégia foi adaptada para cada fonte de informação.

A busca bibliográfica foi realizada em 19 de junho de 2023 nas seguintes fontes de informação: MEDLINE (PubMed); Scopus (Elsevier); Excerpta Medica dataBASE (EMBASE (Elsevier)); Literatura Latino-Americana e do Caribe em Ciências da Saúde; Índice Bibliográfico Español en Ciencias de la Salud; Base de Dados de Enfermagem; Western Pacific Region Index Medicus; MULTIMEDIA; Centro Nacional de Información de Ciencias Médicas de Cuba; World Health Organization Library & Information Networks for Knowledge; Literatura Peruana en Ciencias de la Salud; IRIS PAHO; Base Internacional de Guias GRADE; PREPRINT-medRxiv; ARGMSAL; Bibliografía Nacional en Ciencias de la Salud Argentina; Localizador de Informação em Saúde; Políticas Informadas por Evidências; ColecionaSUS; Secretaria de Estado da Saúde de São Paulo; Campusvirtualsp_brasil; Bibliografia Brasileira de Odontologia; IndexPsi; African Index Medicus; DESASTRES; PREPRINT-Scientific Electronic Library Online (SciELO) (Biblioteca Virtual em Saúde (BVS)); Education Resources Information Center (ERIC) Core Collection (Clarivate Analytics); Cumulative Index to Nursing and Allied Health Literature and Academic Search Premier (EBSCO); American Psychological Association (APA PsycINFO); International HTA Database; e SciELO.

Após a busca, foram verificadas as duplicatas no gerenciador de referências EndNote 20/2020 (Clarivate Analytics, PA, EUA).

Critérios de elegibilidade

Os estudos incorporados foram analisados para inclusão ou exclusão partir do PCC, sendo assim definidos: População (P) - Incluídos estudos em que tiveram participação de especialistas em alguma etapa do processo de ATS: pessoas externas à equipe de pesquisa com conhecimentos ou experiência em uma área relevante e que tenham tido participação individualmente, em painel ou em comissão, nos diferentes momentos do processo, ou seja, em alguma das etapas de ATS. Conceito (C) - Incluídos estudos de ATS em que se determinou o valor de uma tecnologia de saúde em diferentes pontos do seu ciclo de vida segundo distintos métodos, desenhos, técnicas e instrumentos, em que foram considerados aspectos clínicos, sociais, éticos e econômicos, podendo incluir evidências de propriedades internas, segurança, eficácia, resultados relatados pelo paciente, eficácia (no mundo real), custo e custo-efetividade, bem como impactos sociais, legais, éticos e políticos. Contexto (C) - Incluídos estudos realizados em qualquer cenário da área da saúde, sem delimitar o local onde foi desenvolvida a ATS, a fim de não limitar a busca e seleção e possibilitar o mapeamento dessa característica nas produções.

Foram incluídos artigos originais, nos idiomas inglês, português ou espanhol, publicados a partir de 2013, considerando o marco da Organização Pan-Americana da Saúde(11) de estimular o estabelecimento de processos decisórios para incorporação de tecnologias em saúde baseadas na ATS. Foram excluídos estudos de revisão, editoriais, cartas ao editor, estudos de tradução e adaptação cultural de instrumentos e estudos em que a participação se deu para avaliar estratégias ou parâmetros ou diretrizes para ATS.

Seleção de estudos, extração dos dados, análise e apresentação dos resultados

Como critério de qualidade, para minimizar a chance de erro, as etapas de seleção e de extração foram desenvolvidas de modo duplo independente, e quando não houve consenso, um terceiro revisor foi consultado para tomada de decisão. Os revisores foram treinados quanto aos critérios de elegibilidade. Houve uma pilotagem tanto do checklist de seleção (critérios de inclusão e de exclusão) quanto do instrumento de extração.

A etapa de seleção foi desenvolvida na plataforma Rayyan® (http://rayyan.qcri.org), desenvolvida pelo Qatar Computing Research Institute. A primeira etapa de seleção foi por leitura de títulos e resumos entre outubro de 2023 e janeiro de 2024. Os artigos que atenderam aos critérios de elegibilidade passaram para a segunda etapa, e foram lidos na íntegra para a segunda fase de seleção, o que se deu entre fevereiro e abril de 2024. Na plataforma Rayyan®, foram utilizados aplicativos Blind ON ou Blind OFF, que permitiram gerenciar o cegamento e a verificação de conflitos.

A extração de dados foi desenvolvida, conforme o instrumento do JBI, em uma planilha do Microsoft Excel ® estruturada com duas abas, coerente com o método do JBI, que se refere à caracterização (aba 1: ano; país; objetivo; público-alvo da tecnologia) e resposta ao escopo de mapeamento (aba 2: características da ATS, como tipologia da tecnologia, atributo avaliado, contexto delineamento e técnica de coleta de dados, e características dos especialistas, como área, amostra e seleção).

A tipologia partiu inicialmente de uma classificação teórica conforme a Organização Mundial da Saúde (OMS)(1): MED; EQS; PMC; SG; e DD. A tipologia DND emergiu do mapeamento e foi incluída posteriormente, caracterizando-se como classificação empírica.

Na análise, os dados foram verificados segundo estatística descritiva para apresentação dos resultados da caracterização dos estudos: tendência temporal; distribuição geográfica; e população-alvo. A apresentação dos resultados foi tabulada e acompanhada de resumo narrativo, além de gráficos temporais e geográficos, e para comparação, foram elaborados no Napkin e Photoshop.

RESULTADOS

Foram identificados os seguintes quantitativos de referências, perfazendo um total de 8.938 estudos: 1.172 na BVS; 733 na EBSCO; sete na ERIC; 1.094 na EMBASE; 570 na HTA Database; 2.015 na APA PsycINFO; 1.056 na Web of Science; 1.869 na Scopus; 100 na SciELO; 2.015 na PubMed.

Desses, 4.456 foram excluídos por duplicidade, e 4.482 foram selecionados para leitura de título e resumo. Na sequência, 4.122 foram excluídos por não contribuírem com a questão de pesquisa. Assim, 360 foram selecionados e, 29, eliminados, por não estarem acessíveis na íntegra. Foram lidos 331, sendo excluídos 242. Por fim, foram incluídos nesta revisão 89 estudos (Figura 1).

Figura 1. Fluxograma do Preferred Reporting Items for Systematic reviews and Meta- Analyses extension for Scoping Reviews 2020 para identificação e inclusão de estudos.

Figura 1

Foi desenvolvido o mapeamento das características das produções sobre a participação de especialistas no processo de ATS referente à localização geográfica, temporal, amostra, área de conhecimento, tipologia da tecnologia avaliada e público-alvo da tecnologia (Quadro 1).

Quadro 1. Caracterização dos estudos primários incluídos na revisão em ordem cronológica de publicação, Belém, Pará, Brasil, 2024.

País/ano Objetivo Amostra/área Tipo Público
Irã
2013(12)
Comparar fatores do paciente, segurança e consideração organizacional para avaliação de tecnologia em saúde da nova biotecnologia vital pulp therapy/calcium enriched mixture comparada com root canal therapy. 6
S e OA
PMC AI
Reino Unido
2013(13)
Avaliar tratamento para úlceras venosas nas pernas associado a bandagens e roupas de compressão. SI
S
PMC AI
Reino Unido
2013(14)
Investigar semelhanças e diferenças entre Hydration Response Technology e terapia de pressão negativa para feridas com relação à preparação do leito da ferida e elaborar recomendações para uso. 23
S
PMC AI
Itália
2013(15)
Avaliar o estado tecnológico geral dos clipes mitrais no processo de tratamento da regurgitação mitral, com particular referência aos métodos tradicionais, além de contextualização das análises dentro da estrutura hospitalar, identificando questões de criticidade e melhorias. SI
S
DND AI
Croácia
2013(16)
Desenvolver, implementar e avaliar cartas terapêuticas de pacientes escritas por alunos como uma ferramenta no ensino de medicina de família. 3
S
DND EST
Espanha
2013(17)
Concordar entre os especialistas sobre o conteúdo de nova educação materna baseada nas necessidades de saúde da mulher, e analisar os modelos teóricos e estratégias educativas maternas para responder a essas necessidades. 11
S
DND P
Brasil
2013(18)
Descrever o processo de avaliação de tecnologia educativa de literatura de cordel com relação aos aspectos de conteúdo sobre amamentação. 6
S
DND AI
Argentina
2013(19)
Avaliar a relação custo-efetividade da Oxytocin in Uniject na América Latina e Caribe. 8
S e OA
MED AI
Cuba
2014(20)
Abordar uma ferramenta informática que ajuda na determinação de ações de saúde relacionadas à hipertensão arterial na Atenção Primária à Saúde através do processamento analítico em linha e da razão baseada em casos. 9
S
SG AI
Alemanha
2014(21)
Discutir as perspectivas, demandas e preocupações de segurança e risco associadas aos lab-on-a-chip systems. 30
S
SG AI
Brasil
2014(22)
Elaborar e obter consenso sobre tecnologia assistencial para avaliação clínica diária de pacientes no pós-operatório, partindo de suporte teórico e adequando à dinâmica dos hospitais. 9
S
PMC AI
Reino Unido
2014(23)
Determinar a estratégia de teste diagnóstico mais econômica para o diagnóstico e tratamento de heavy menstrual bleeding e post-menopausal bleeding 14
S
PMC AI
Reino Unido
2014(24)
Identificar e descrever a intervenção selective decontamination of the digestive tract, os pontos de vista sobre a base de evidências, a aceitabilidade de pesquisas futuras, e a viabilidade de novos ensaios clínicos randomizados. 36
S
PMC AI
Peru
2015(25)
Produzir um serviço de tecnologia da informação online para a saúde e ajudar a tornar os processos de avaliação e aquisição de equipamentos médicos informados de acordo com mercado e necessidades das instituições de saúde. SI
S
SG P
Brasil
2015(26)
Avaliar desempenho funcional e qualidade técnica do Sistema de Documentação Eletrônica do Processo de Enfermagem. 37
S e OA
SG P
Reino Unido
2015(27)
Explorar e promover melhorias na produção de evidências para a Avaliação de Tecnologias em Saúde, na área de medicamentos considerando a necessidade dos diferentes stakeholders ao longo de todo o ciclo de vida das tecnologias em saúde 75
S
MED P
Espanha
2015(28)
Identificar as necessidades do usuário de uma nova tecnologia médica para gerenciar e monitorar pacientes com doença de Parkinson e usar essas necessidades do usuário para uma avaliação preliminar de um sistema específico chamado PERFORM com estudo de caso. 16
S e OA
SG AI
Brasil
2015(29)
Apresentar o aplicativo Diabetes Food Control, para avaliar os marcadores do consumo alimentar dos diabéticos, baseado em questionário validado. SI
S
DD AI
Brasil
2015(30)
Apresentar o Alz Memory, um jogo desenvolvido para estimular a memória de pacientes com Alzheimer, com vistas a minimizar os efeitos da doença. 10
OA
DD AI
Argentina
2015(31)
Avaliar a relação custo-efetividade da ocitocina na América Latina e Caribe. 30
S
MED AI
Brasil
2016(32)
Avaliar a usabilidade de protótipo educacional digital sobre um novo método para monitoração da pressão intracraniana de forma minimamente invasivo para enfermeiros e médicos. 4
OA
DD P
Espanha
2016(33)
Conhecer os critérios dos especialistas em hipertensão sobre combinações triplas em doses fixas e explorar possíveis diferenças de critérios quanto à sua utilização entre médicos de três especialidades envolvidos no controle da pressão arterial: medicina interna, cardiologia e nefrologia. 158
S
PMC AI
Brasil
2016(34)
Desenvolver e avaliar preliminarmente um aplicativo para dispositivos móveis que auxiliem profissionais da voz no gerenciamento da saúde vocal. 3
S
DD P
Estados Unidos da América
2016(35)
Determinar se a aplicação do método Headroom combinado com a análise de retorno sobre o investimento permite estimar a viabilidade comercial potencial de dispositivo terapêutico e cinco dispositivos de diagnóstico. SI
S
PMC P
Holanda
2016(36)
Avaliar a eficácia de custo a curto prazo de quatro testes diagnósticos complementares em pacientes com artrite inflamatória precoce em risco de artrite reumatoide. SI
OA
PMC AI
Índia
2016(37)
Relatar o processo de implementação de Mother and Child Tracking System para rastreamento materno-infantil baseado em tablet em Bihar. SI
S e OA
SG P
Finlândia
2016(38)
Analisar a fase de adoção de tecnologia em saúde. SI
S
PMC P
Polônia
2016(39)
Avaliar os custos e as consequências do uso de uma tecnologia médica inovadora, e o inserto vaginal de misoprostol, para indução do parto, no lugar de tecnologias alternativas usadas como padrão de tratamento. 5
S
PMC AI
Colômbia
2017(40)
Validar o impacto da ferramenta de auditoria para gerenciamento de tecnologia biomédica. 12
S e OA
SG P
Suécia
2017(41)
Quão preciso é o diagnóstico remoto baseado em imagens de queimaduras comumente apresentadas em centros de emergência de Western Cape, quando visualizado em um dispositivo portátil? As avaliações remotas têm precisão comparável quando feitas em dispositivos portáteis em comparação com uma tela de computador? 26
S
PMC P
Espanha
2017(42)
Descrever a variedade de acordos, métodos e processos de ATS na adoção e uso de uma intervenção preventiva controversa em uma seleção de países das regiões Europa Central, Oriental e Sudeste, e América Latina e Caribe, além de implementação de vacinas em países de renda média-baixa e fornecer recomendações àqueles países. 3
S e OA
PMC RNC e ADO
China
2017(43)
Desenvolver uma nova aplicação móvel para informação e apoio social e emocional às mulheres com câncer da mama em quimioterapia para promover a autoeficácia e apoio social, melhorando as estratégias de gestão dos sintomas. 8
S
DD AI
Dinamarca
2017(44)
Realizar análise precoce de custo-efetividade da tecnologia de videobroncoscópio flexível de uso único em comparação com a atual tecnologia reutilizável em um ambiente de terapia intensiva hospitalar nos Estados Unidos da América. 8
S
EQS AI
Holanda
2017(45)
Avaliar inicialmente tecnologia de saúde para estimar os custos da ablação por magnetic resonance-guided high intensity focused ultrasound, em comparação com o tratamento conservador da mama. 7
S e OA
PMC AI
Reino Unido
2017(46)
Estabelecer a opinião de especialistas e melhorias para a tecnologia de autenticação de MEDs. 10
S
SG P
Reino Unido
2017(47)
Avaliar o sistema automatizado de aférese Spectra Optia para fazer recomendações. 6
S
PMC P
Brasil
2018(48)
Validar o conteúdo e a aparência de um programa de cuidado longitudinal para assistir adolescentes em sua primeira gravidez. 11
S
DND AI
Brasil
2018(49)
Validar o conteúdo de tecnologia educacional do tipo cartilha, produzida para mediar o acolhimento de familiares de recém-nascidos na Unidade de Terapia Intensiva. 15
OA
DND AI
Brasil
2018(50)
Analisar a qualidade de um objeto virtual de aprendizagem a partir do Learning Object Review Instrument. 5
S
DD EST
Suécia
2018(51)
Investigar a confiabilidade com que profissionais de saúde com diferentes níveis de especialização são capazes de transmitir a localização exata do câncer de próstata. 9
S
PMC P
Estados Unidos da América
2018(52)
Avaliar o custo de joelhos controlados por microprocessador comparado aos não controlados. 15
S
EQS AI
México
2018(53)
Definir o lugar da cirurgia metabólica no tratamento do DM2 no México. 24
S
PMC AI
Austrália
2018(54)
Realizar testes de usabilidade do aplicativo para avaliar a dor em adultos com demência tratados por paramédicos; avaliar a adequação do algoritmo no aplicativo como fluxograma de avaliação da dor para uso em adultos com demência; identificar áreas para desenvolvimento adicional no aplicativo de dor para melhorar a interação do usuário; responder às recomendações feitas pelas equipes clínicas e trabalhar com especialistas em ciências da computação para as modificações necessárias. 7
S
DD P
México
2019(55)
Descrever o design e o desenvolvimento de um sistema baseado na web. 10
S
DD AI
Brasil
2019(56)
Validar o treinamento online para multiplicadores do programa VAMOS. 6
S
DD P
Brasil
2019(57)
Validar a tecnologia educacional “Manual de cuidados familiares com a pessoa idosa submetida à cirurgia cerebral”. 11
S e OA
DND AI
Brasil
2019(58)
Desenvolver e validar o conteúdo de um software gratuito baseado na web (desktop e mobile aplicações) para autogestão e exercícios personalizados de pé-tornozelo para pessoas com diabetes e neuropatia diabética. 3
S
DD AI
Brasil
2019(59)
Elaborar e validar conteúdo e aparência de jogo educativo sobre hábitos de vida saudáveis para adolescentes. 15
S
DND ADO
Nova Zelândia
2019(60)
Investigar a utilidade percebida de diferentes atividades de cuidados diários para o robô, desenvolvido a partir de pesquisas anteriores sobre necessidades. 19
S
DD AI
Suécia
2019(61)
Desenvolver e avaliar um protótipo para monitorar movimentos e frequência cardíaca. SI
S e OA
EQS AI
Índia
2019(62)
Desenvolver um aplicativo móvel educacional bilíngue baseado em smartphone para pacientes cardíacos e teste piloto em um ambiente clínico indiano. 5
S e OA
DD AI
Brasil
2019(63)
Desenvolver e validar o conteúdo de um software gratuito baseado na web (desktop e mobile aplicações) para autogestão e exercícios personalizados de pé-tornozelo para pessoas com diabetes e neuropatia diabética. 19
S
DD AI
Brasil
2020(64)
Validar o conteúdo da tecnologia educacional “Saúde do Homem: dicas para uma vida saudável”. 9
S
DND AI
Brasil
2020(65)
Validar a adequação do material e usabilidade do treinamento online para capacitar profissionais de saúde para implementação do programa VAMOS, versão 3.0. 22
S e OA
DD P
Brasil
2020(66)
Desenvolver uma intervenção educativa por meio de um jogo com abordagem de aspectos relacionados à maternidade na adolescência e cuidado da criança. 8
S e OA
DND ADO
Estados Unidos da América
2020(67)
Descrever o desenvolvimento e o conteúdo de apresentações de slides e avaliar sua capacidade de suscitar discussões entre os participantes dos grupos focais. 17
S e OA
DND AI
Estados Unidos da América
2020(68)
Desenvolver a intervenção COPE-STAR usando uma plataforma baseada na web para ajudar cuidadores de crianças com idade 1-5 anos para controlar os sintomas e a tecnologia médica de seus filhos em casa. 8
S
DD AI
Brasil
2020(69)
Validar por conteúdo e usabilidade o aplicativo “NASF em Rede” direcionado às equipes dos Núcleos Ampliados de Saúde da Família e Atenção Básica. 18
S e OA
DD P
Brasil
2020(70)
Avaliar a qualidade técnica de aplicativo móvel para apoiar a decisão do enfermeiro nos cuidados de prevenção de lesões de pele em recém-nascidos hospitalizados, de acordo com o Modelo de Qualidade do Produto. 20
S e OA
DD P
Reino Unido
2020(71)
Desenvolver indicadores registrados pelo paciente para dispositivos de terapia manual em epidermólise bolhosa e seu uso em estudo de prova de conceito N-de-1 com análise de custos para investigar desempenho da luva de curativo descartável, comparado a curativos e bandagens convencionais. 8
S
DND P
Portugal
2020(72)
Descrever e relatar os passos iniciais no desenvolvimento de um novo dispositivo médico (a seringa Duo). 9
S e OA
DND P
Espanha
2021(73)
Avaliar a maturidade do sistema de classificação DESDE-AND. 23
OA
SG P
Reino Unido
2021(74)
Avaliar, na opinião de anestesiologistas regionais especialistas, o desempenho geral de um sistema de Inteligência Artificial para guiar um ultrassom para confirmação da visão correta do profissional com menos experiência. 3
S
DD AI
Índia
2021(75)
Avaliar a relação custo-eficácia do eletrocardiograma portátil para triagem de doenças cardiovasculares entre adultos sintomáticos e de alto risco no Primary Health Center. 3
S
EQS AI
Brasil
2021(76)
Construir e validar uma tecnologia educacional de autocuidado para cuidadores informais. 7
S
DND AI
Taiwan
2021(77)
Avaliar o custo-utilidade do Avelumabe em Taiwan. 3
S
EQS AI
Brasil
2021(78)
Verificar validade conteúdo do aplicativo móvel Safe Heart para monitoramento e identificação de risco de infarto. 10
S e OA
DD AI
Canadá
2021(79)
Criar um kit de ferramentas para clínicos realizarem avaliações e reabilitação em uma plataforma habilitada com tecnologias imersivas. SI
OA
DD AI e P
Áustria
2021(80)
Obter conhecimento sobre a captação, aceitação do usuário e preocupações em relação a um aplicativo de predição baseado em machine learning projetado para melhorar a segurança do paciente em um ambiente clínico. 15
S e OA
DD AI
Emirados Árabes
2022(81)
Realizar ATS para um nível diferente de intervenção de telemedicina no manejo do diabetes. 12
S
PMC AI
França
2022(82)
Destacar os tipos de impactos organizacionais de impressão 3D em hospital. 12
S e OA
EQS P
Israel
2022(83)
Analisar o impacto de duas tecnologias que fornecem MEDs diretamente ao cérebro. 8
S
DD P
Tailândia
2022(84)
Sintetizar documentos e pesquisas internacionais de aprendizagem digital inteligente para melhorar a alfabetização digital em saúde; projetar uma aprendizagem digital inteligente; e avaliar a adequação. 10
S e OA
DD AI
Brasil
2022(85)
Apresentar versão inicial do desenvolvimento tecnológico e avaliação de aplicativo que auxilia a coleta de dados, análise, avaliação e monitoramento de cantinas escolares saudáveis. 3
S
DD RNC, ADO
Brasil
2022(86)
Produzir e validar tecnologia educacional em saúde em vídeo para incentivo ao aleitamento materno com famílias. 20
S
DND RNC
Brasil
2022(87)
Apresentar o desenvolvimento, validação e avaliação de usabilidade de cartilha que direciona o treinamento e personaliza a progressão de programa domiciliar de treinamento de pé-tornozelo exercícios. 8
S e OA
DND AI
Paquistão
2022(88)
Desenvolver uma sala de aula virtual assíncrona para ensino de fatores de testes laboratoriais. 17
OA
DD EST
Estados Unidos da América
2022(89)
Desenvolver um simulador de endoscopia bariátrica virtual para treinamento e avaliação do endoscopic sleeve gastroplasty. 5
S
EQS P
Itália
2022(90)
Avaliar os benefícios potenciais do Magnetic Resonance-guided high intensity Focused Ultrasound. 11
S
EQS AI
Brasil
2022(91)
Avaliar a usabilidade do aplicativo “Meu PICC” para o acompanhamento extra-hospitalar de pacientes em uso de cateter central de inserção periférica. 18
S e OA
DD AI
Brasil
2023(92)
Construir e validar aplicativo que estabeleça grau de risco do pé de pacientes com DM associado a condições de saúde. 18
S
DD P
França
2023(93)
Analisar custo-efetividade do blinatumomab versus HC3 em crianças com primeira recidiva de leucemia linfoblástica aguda de alto risco. SI
S
MED RNC
Estados Unidos da América
2023(94)
Avaliar a aceitabilidade e viabilidade de uma plataforma orientada para a tecnologia para facilitar a plataforma de coordenação de cuidados: Care4AD. 35
S
DD AI
Itália
2023(95)
Avaliar a relação custo-benefício de radiafrequência ablação para câncer de esôfago na Itália. 5
S
EQS AI
Itália
2023(96)
Avalia os benefícios e o valor acrescentado da introdução da trifluridina/tipiracilo na prática clínica italiana, definindo o comparativo e os perfis de eficácia e segurança em relação às outras opções de tratamento. 8
S
MED AI
Suécia
2023(97)
Avaliar a usabilidade do protótipo Electronic Health Report Form para identificar saúde e problemas relacionados à saúde em jovens. 14
S e OA
DD ADO
Portugal
2023(98)
Avaliar protótipo de roupa que incorpora sensores para avaliação de pressão, temperatura e umidade para prevenção de lesões por pressão. 9
S
DND P
Colômbia
2023(99)
Determinar a classificação terapêutica do caplacizumabe segundo a metodologia do Instituto de Avaliação de Tecnologia em Saúde. 5
S
MED AI
Itália
2023(100)
Avaliar os custos do Radiofrequency Echographic Multi Spectrometry versus tecnologia ionizante convencional para diagnóstico da osteoporose na perspectiva do Serviço Nacional de Saúde italiano. 6
S
PMC AI

S - saúde; OA - outras áreas; MED - medicamento; EQS - equipamento e suprimento; PMC - procedimento médico cirúrgico; SG - sistema de gestão; DND - dispositivo não digital; DD - dispositivo digital; RNC - recém-nascido/criança; ADO - adolescente; AI - adulto/idoso; SI - sem informação; ATS - avaliação de tecnologias em saúde; DM - diabetes mellitus; P - profissionais; EST - estudantes.

Quanto aos países, foram identificados 44 nas Américas (27 no Brasil) e 62 (69,7%) distribuídos em 30 países, abarcando quatro continentes (Figura 2). Além disso, 46 (51,7%) foram publicados nos últimos cinco anos (2019-2023). Em relação às tipologias de tecnologias avaliadas, conforme as categorias teóricas(1), foram mapeados 29 (32,6%) DDs, 19 (21,3%) PMCs, dez (11,2%) SGs, nove (10,2%) EQSs, cinco (5,7%) MEDs. Ainda, conforme a categoria empírica que emergiu, 17 (19%) dispositivos não digitais (DNDs).

Figura 2. Caracterização da distribuição geográfica das produções científicas com participação de especialistas na avaliação de tecnologias em saúde no período de 2013-2023.

Figura 2

A população total de especialistas em todos os estudos incluídos foi de 1.068. Em relação ao público-alvo das tecnologias avaliadas, 52 (58,4%) foram adultos e idosos; 26 (29,2%) foram profissionais; três (3,4%) foram estudantes; três (3,4%) foram adolescentes; dois (2,2%) foram recém-nascidos e crianças; dois (2,2%) foram crianças e adolescentes; e um (1,2%) foi adulto e idoso, e profissional.

O mapeamento da participação de especialistas indicou que as características do processo de ATS estão relacionadas às tipologias das tecnologias que modificam as variáveis analisadas, como atributo avaliado, contexto em que se realizou a ATS, delineamento do estudo e técnica de participação (Figura 3).

Figura 3. Características da avaliação de tecnologia em saúde com a participação do especialista segundo as tipologias das tecnologias.

Figura 3

No que tange à área de expertise dos especialistas, em 57 (64%) dos estudos, os especialistas eram da saúde. Somente na avaliação de MED todos eram da área da saúde.

Na avaliação de EQS e de PMC, majoritariamente (77,8% e 78,9%, respectivamente), os especialistas são da área da saúde. Quando houve especialistas de outras áreas, incluíram-se membros de comissões de ATS(12,42,82). Na avaliação de EQS, incluíram-se ainda participantes da engenharia(61), e na avaliação de PMC, incluíram-se participantes da área de custos exclusivamente(36) e integrado à área da saúde(45). Em relação aos DDs e aos DNDs, a maioria também incluiu especialistas da saúde (55,2% e 64,7%, respectivamente). Na avaliação de DD, houve participação exclusiva de especialistas de informática(30,32,79,88) ou informática integrada a especialistas da saúde(62,65,69,70,78,80,84,91,97). Já na avaliação de DND, ao incluir outras áreas, considerou-se a área de design (49,87) ou associou-se aos participantes da área da saúde outros especialistas de gestão(66,67), pedagogia(57) e informática(72). Na avaliação de SG, a participação de especialistas da área da saúde não foi maioria (40%). Quando houve especialistas de outras áreas, incluíram-se a área de gestão da informação(27), informática exclusivamente(73) e informática integrada à área da saúde(26,28,37,40).

No que se refere à participação deste especialista, o número de especialistas por estudo variou de três a 158. A amostra foi composta de acordo com a tipologia de tecnologia avaliada. Verificou-se que o mínimo de especialistas foi de três na avaliação de EQS(75,77), DD(34,58,74,85), DND(16) e PMC(42), e cinco, na avaliação de MED(31) e SG(27). Os números máximos se aproximaram de 30 na avaliação de MED(31), DD(94) e SG(26), e diminuíram para 20, na avaliação de DND(86), e para 15, na avaliação de EQS(52). Na avaliação de PMC, houve um único estudo(33) que atingiu um máximo de 158.

Em 11 estudos, não foram encontradas informações sobre o quantitativo de especialistas(13,15,25,29,35-38,61,79,93). Não foram identificadas citações para justificar o quantitativo, seja mínimo ou máximo. Considerando a amostra (n=89), verificamos que o mínimo de três e o máximo de 15 ocorreram em 64% dos estudos.

Em todas as tipologias, a seleção se deu em instituições de referência nacionais e internacionais. A menção à Plataforma Lattes como única fonte para seleção dos especialistas só foi identificada nos estudos do Brasil na avaliação de DND(76,86,87) e DD(69,70,78), sendo integrada a seleção em instituições na avaliação de DND(66). Houve menção à seleção somente na literatura para avaliação de EQS(52,82) e SG(21), integrada a instituições na avaliação de PMC(41). Entretanto, em todas as tipologias (80% na avaliação de MED; 68% na avaliação de PMC; 66% na avaliação de DD; 65% na avaliação de DND; 60% na avaliação de SG; 56% na avaliação de EQS), não foi encontrada informação.

Sobre os atributos avaliados, destaca-se o atributo propriedade, predominante em DD e DND (93% e 88%, respectivamente), seguido de SG (50%), EQS (33,3%) e PMC (10%), sendo que, para MED, não se avaliou a propriedade. A efetividade foi avaliada isoladamente em MED(96), EQS(95), DD(83) e PMC(23,24,100), e integrada a custos em MED(19,31,93) e EQS(44,75). A utilidade se destacou em PMC(13,14,35,41,47,53), seguida de SG(37,45), MED(99), DD(94) e DND(15). A avaliação de custos foi realizada isoladamente na avaliação de PMC(36,38,45) e EQS(52), sendo integrada à utilidade(77), segurança(72,81) e impacto(39) na avaliação de EQS e PMC. A avaliação da segurança se destacou na avaliação de SG(20,21). A avaliação de impacto(82) e riscos(12) foi realizada em EQS e PMC.

Em relação ao contexto em que se realizou a ATS, constatou-se que a modalidade online foi a mais utilizada na avaliação dos DNDs (53%) e DDs (52%). A modalidade presencial foi a mais utilizada na avaliação de EQS (77,7%). Destacou-se, nas tipologias PMC(13,14,23,33), DND(67,71,76), SG(40,73), EQS(52) e DD(79), a modalidade mista, que utilizou tanto a modalidade online quanto a presencial.

Os delineamentos dos estudos de ATS em que os especialistas participaram foram majoritariamente quantitativos em todos as tipologias: MED (100%); SG (90%); EQS (77,7%); PMC (73,7%); DD (65,5%); e DND (64,7%). Os delineamentos qualitativos só não foram identificados na avaliação de MED, e os estudos de métodos mistos foram utilizados na avaliação de PMC(24), DND(72,98) e DD(80,85,8897).

As técnicas mais utilizadas para participação dos especialistas foram os instrumentos estruturados (questionários e formulários), atingindo 48% em estudos de avaliação de DD, 47%, de DND, e 36%, de PMC. Na avaliação de DD, a diversidade de técnicas combina o questionário com pensamento em voz alta(29,30), utilização de aplicativo(85), grupo focal isoladamente(43,80) e combinado com testagem e painel Delphi(53), exposição seguida de manuseio e instrumento de avaliação(32), além de entrevista após apresentação de tecnologia(60), manuseio do protótipo e pontuação(62), utilização do software e testes a partir de estudos de caso(70) e simulação(79).

Na avaliação de SG(20,21,28,37) e DD(16), destacou-se a utilização de entrevistas isoladamente. Na avaliação de EQS, utilizou-se a entrevista combinada com grupo focal(82), questionário(90) e painel de discussão por telefone(52). Também em estudos de avaliação de EQS, outras técnicas combinadas foram identificadas, como reuniões regulares, grupo focal, workshop (61), utilização de modelos e questionário(77), filmagem de procedimento, e questionário(89).

Na avaliação de MED, destacou-se a utilização de Delphi modificado(31,99). Na avaliação de DND e PMC, também se verificou a utilização de técnicas isoladas como grupo focal(12,17,72,81), Delphi modificado(33) e entrevista(23,24,38,53,100). Na avaliação de DND, foram utilizadas técnicas combinadas, como reuniões e design colaborativo, com discussões presenciais e reuniões por telefone(67), reunião, troca de e-mails(71), questionário e grupo focal(98). Na avaliação de PMC, foram utilizados análise de estudo de caso e grupo focal(13), entrevista, questionário(14), plotagem e desenhos(51).

DISCUSSÃO

As evidências disponíveis mapeadas nesta revisão de escopo mostraram que a participação dos especialistas nos processos de ATS tem caraterísticas de acordo com as tipologias de tecnologias em saúde avaliadas. Tais características se modificam em cada tipologia avaliada no que tange à área de expertise, atributo avaliado, seleção, amostra, contexto, delineamento e técnica.

Uma das características é que, na ATS, há participação de uma variedade de especialidades, e existem diferentes concepções sobre quem é considerado um especialista. Destacam-se nos processos avaliativos os especialistas em conteúdo que têm conhecimento sobre a temática da tecnologia, que podem vir de diferentes áreas de especialização, mas principalmente da área da saúde, bem como os especialistas em métodos que irão contribuir com a garantia de qualidade(8). O mapeamento apontou para participação de especialistas de outras áreas além da saúde, a exemplo da engenharia, da informática, do designer, da pedagogia, entre outras. Uma recomendação para futuros estudos é mapear desafios por áreas, inclusive a da enfermagem.

Outra característica é a variedade de estratégias. Os estudos realizaram avaliações de diferentes tipos de dispositivos, como digitais, não digitais e procedimentais, o que converge com recomendações de pesquisadores da China, que afirmam que os dispositivos diferem consideravelmente dos produtos farmacêuticos em muitos aspectos, o que torna a ATS desafiante. Os autores fazem um apelo tanto às comunidades acadêmicas quanto às agências, para que se padronizem o processo, metodologias e critérios de ATS sobre dispositivos, com vistas a ampliar as avaliações, pois as atuais diretrizes de ATS ainda se centram principalmente nos MEDs(101).

Apesar do desafio dos processos de ATS, a variedade de especialidades e de estratégias favorece a obtenção de diferentes análises e contribuições, o que aponta para a triangulação das áreas dos participantes, de delineamentos e de técnicas. A triangulação é uma estratégia de aprimoramento dos estudos, envolvendo diferentes perspectivas, utilizada para aumentar a sua credibilidade, ao implicar a utilização de dois ou mais aspectos e possibilitar a apreensão do fenômeno avaliativo sob diferentes níveis, considerando a complexidade dos objetos de estudo (as tecnologias em saúde) e condições do próprio processo avaliativo(102).

Nesse processo, quanto às áreas de expertise dos especialistas, ficou evidente que há estudos só com especialistas da área da saúde, estudos em que participantes da área da saúde se integram a diferentes áreas, e estudos em que outras áreas participam de modo isolado. Também se verificou que, em todas as tipologias de tecnologias avaliadas, houve participação de especialistas da área da saúde, com destaque para a tipologia MED, em que a saúde foi a única especialidade em todos os estudos.

Os especialistas da área da saúde participaram, de modo isolado ou de forma integrada com outras áreas, majoritariamente na ATS das tecnologias, com exceção de SG. A área do especialista a ser integrada à saúde depende da tipologia da tecnologia avaliada. Entre os países da União Europeia, Reino Unido, Canadá e Austrália, encontram-se especialistas da área da saúde e de outras áreas participam dos estudos de ATS. A participação de especialistas de diferentes áreas pode garantir a transparência e inclusão de reflexões de diferentes perspectivas(103).

Em estudo onde especialistas forneceram estimativas para questões técnicas, tanto na área de especialização em que eram referência quanto nas áreas em que não eram, descobriu-se que os participantes eram mais sérios e cautelosos em relação às tarefas nos estudos relacionados diretamente às suas especialidades. Logo, a área de expertise do especialista influencia a ATS. A recomendação é que, para qualquer processo de ATS, todos os especialistas tenham a experiência substantiva necessária e um conhecimento relevante sobre o tópico em avaliação(104).

Sobre a amostra nos estudos de ATS, foi possível mapear a quantidade de especialistas, bem como verificar o número mínimo e máximo, o que apontou para uma variação entre três e 15. Ademais, não foram encontradas menções nos estudos a padrões ou modelos que determinam o quantitativo de especialistas a ser atingido, o que reforça a assertiva de que não há padrão estabelecido acerca do quantitativo de especialistas(105).

Em estudo que considerou 22 organizações de ATS e incluiu 42 documentos, sobre a amostra de especialistas, verificou-se que a participação, seja de modo individual ou grupal, era com números variados de membros. Algumas agências recomendam a inclusão de mais de um especialista para obter uma gama de pontos de vista. Ressalta-se que o tamanho dos painéis de especialistas indicados na diretriz da Irlanda varia entre cinco e 20 indivíduos(8), o que converge com o mapeamento realizado nesta revisão.

Ao mapear as evidências sobre a seleção dos especialistas, verificou-se um elevado número de estudos em que não foram encontradas informações sobre as fontes consultadas para seleção dos especialistas, atingindo-se o maior percentual nos estudos de avaliação de MED (80%). Compreendese que a seleção é uma tarefa desafiadora para os estudos de avaliação, devendo os pesquisadores estabelecer critérios quantitativos e qualitativos, almejando resultados confiáveis. Ressalta-se, sobre a seleção dos especialistas, que a análise acurada das características de uma tecnologia está relacionada à confiança e experiência que o especialista possui na área, devendo ser capaz de analisar, interpretar e inferir valores quantitativos e/ou qualitativos(105).

Quanto ao mapeamento das evidências acerca do atributo avaliado pelos especialistas, foram identificados estudos em que propriedades foram avaliadas (conteúdo, aparência, usabilidade, qualidade), o que caracteriza uma avaliação no primeiro ciclo de vida da tecnologia, antes do registro, quando são verificados aspectos técnicos e operacionais da tecnologia. Nesses estudos, quando a propriedade avaliada foi conteúdo e aparência, majoritariamente foi utilizado o termo “validação”, enquanto nos estudos em que a propriedade avaliada foi usabilidade e qualidade, o termo foi “avaliação”.

Quanto aos atributos voltados aos aspectos de resultados, mais característicos do segundo ciclo de vida em diante, foram encontrados estudos de avaliação de efetividade, utilidade, custos, segurança, impacto e riscos. Considera-se relevante que na ATS se realizam estudos em diferentes pontos do ciclo de vida de uma tecnologia em saúde(106), pois o processo é caracterizado por ser sistemático e contemplar tanto as propriedades quanto os efeitos e/ou impactos, com vistas a melhorar a qualidade e o valor da tecnologia, facilitando, assim, decisões(103).

Historicamente, a ATS tem se centrado na segurança e eficácia de uma intervenção e também na relação custo-eficácia, embora haja uma consciência crescente de que é necessária uma forma mais ampla de ATS. Ressalta-se que já estão em curso alguns esforços, mas limitados a poucos países, para atender a essa necessidade. Se a ATS deixar de expandir a sua avaliação e recomendações, sem incluir outras questões como as propriedades, por exemplo, poderá ser considerada irrelevante para as reais necessidades dos decisores. A ATS deveria (e faz cada vez mais) possuir recomendações sobre tecnologias que vão além da segurança, eficácia e custo-benefício(107), o que, no rastreamento realizado, ficou evidente. A segurança, um dos atributos identificados no mapeamento, com destaque para os estudos de avaliação de SG, em que foi avaliada isoladamente(20) e integrada a riscos(21), busca garantir que as tecnologias em saúde sejam analisadas para, assim, minimizar os riscos para os pacientes e otimizar os resultados desejados(108).

Sobre o contexto, que se refere aos ambientes que foram utilizados para que os especialistas pudessem interagir com as equipes de pesquisa (online ou presencial), as evidências convergiram para uma perspectiva multidimensional, pois, nas tipologias DND e DD, houve predominância do modo online, e na tipologia EQS, a predominância foi da modalidade presencial. Outra evidência é que houve a utilização dos dois contextos em estudos que avaliaram as tipologias PMC(13,14,23,33), DND(68,71,76), SG(40,73), EQS(52) e DD(79).

Entendemos que os dois contextos têm pontos positivos e negativos. Autores reconhecem que conduzir uma consulta a um especialista de modo presencial requer um esforço significativo, acesso a recursos, treinamento e tempo, especialmente quando vários especialistas estão envolvidos, como nos estudos de ATS. Pode ser muito demorado, especialmente em áreas de doenças onde há poucos especialistas e muitos estão geograficamente dispersos e com agendas lotadas. Além disso, durante a consulta presencial, o facilitador precisa ter cuidado para não impor suas crenças ou preconceitos ao especialista. Com a utilização do ambiente online, mais especialistas podem ser alcançados em um tempo mais curto, porém, geralmente, o custo de taxas de resposta muito baixas, especialmente quando o alvo são médicos, tende a reduzir os custos de levantamento de dados e o nível de erros de registro(104,109).

Em relação aos delineamentos dos estudos em que participaram os especialistas, somente na avaliação de MED não foi utilizada a avaliação qualitativa. Nos demais, além de se ter estudos quantitativos e qualitativos, também foram identificados estudos de métodos mistos na avaliação de PMC(24), DND(72,98) e DD(80,85,88,97).

A opinião de especialistas pode ser qualitativa, usada para validar os caminhos de saúde simulado em um modelo de custo-efetividade, mas também quantitativa, usada para fornecer estimativas, por exemplo. A consulta mais estruturada visa facilitar o processo de obtenção de dados quantitativos com vistas a se ter opiniões tão rigorosas e científicas quanto possível. Esses métodos permitem que os especialistas especifiquem uma quantidade de interesse, bem como a incerteza associada em torno dela, que pode ser codificada como uma distribuição de probabilidade(110). O delinemento da ATS majoritariamente quantitativo em todas as tipologias de tecnologias é coerente com o atributo avaliado. Por exemplo, na tipologia MED, o atributo majoritariamente avaliado foi custo-efetividade, que requer um delineamento quantitativo. Outro exemplo são os delineamentos quantitativos nas avaliações de propriedade, em que foram mapeados principalmente o uso de cálculo de Índice de Validade de Conteúdo.

Sobre as técnicas que foram aplicadas com os especialistas, destacou-se a diversidade de modalidades, tanto aplicadas isoladamente quanto combinadas. Em todas as tipologias, utilizaram-se tanto questionários e formulários quanto grupos focais, entrevistas e o método Delphi, o que é recomendado para coletar as opiniões dos especialistas(8). Especificamente sobre o método Delphi, há inúmeras características que são consideradas vantajosas como: o anonimato entre os participantes, que evita constrangimentos, inibições e intimidações que podem ocorrer em encontros presenciais, possibilitando a expressão de comentários de todos, mesmo daqueles especialistas cujas opiniões são minoritárias; a possibilidade de fornecer aos participantes feedback por suas contribuições; a possibilidade de revisão das respostas dos especialistas, bem como a formação de grupos heterogêneos, quando o assunto ou produto a ser avaliado for multidimensional e multidisciplinar. Quando é aplicada em meio virtual, há outro diferencial e vantagem para sua utilização, pois permite maior tempo ao participante para reflexão em relação à tecnologia avaliada, podendo levar à maior adesão, participação, além de menor custo e tempo despendido para sua realização(105,111).

Acreditamos ser importante adotar distintas técnicas nos estudos de ATS, pois permitem o levantamento de perspectivas tanto objetivas quanto subjetivas. A opinião obtida por meio de entrevistas individuais (realizadas pessoalmente ou remotamente) ou por meio de entrevistas escritas com respostas a perguntas específicas favorece a análise de diferentes perspectivas na manifestação dos especialistas(110). No que tange aos questionários, em relação ao contexto em que são aplicados, ressalta-se que, no âmbito online, apresentam maior retorno do que os autopreenchidos de modo presencial, permitindo alcançar uma área geográfica mais ampla; outra vantagem é que não existe pressão pela presença do pesquisador, pois o anonimato pode ser preservado plenamente, e existe um custo menor do que a realização, por exemplo, de uma entrevista ou grupo focal(109,112,113).

Os grupos focais estimulam as trocas de vivências, experiências e impressões, o que pode possibilitar reflexão coletiva sobre a tecnologia que se está avaliando. A técnica proporciona a configuração de um ambiente que permite a problematização e o aprofundamento de discussões, permitindo, acima de tudo, o conhecimento e a compreensão das distintas expertises dos sujeitos. As questões levantadas sobre a tecnologia em pauta podem provocar reflexões a respeito do processo de avaliação em si e suscitar novos significados da própria experiência avaliativa(114,115).

Esse resultado apontou uma lacuna nos estudos de ATS no que se refere à falta e/ou incompletude de informações que caracterizam a participação de especialistas no processo de ATS, em especial no que se refere à seleção, contexto e técnica utilizada.

Limitações do estudo

A limitação desta revisão foi o não desenvolvimento da terceira etapa da busca e seleção das evidências, que se refere à busca manual na lista de referências dos estudos incluídos na amostra.

Contribuições para a área da enfermagem

A revisão contribui para o campo da saúde, ao oferecer uma análise abrangente da participação de especialistas na avaliação de diversas tecnologias de saúde. Essas descobertas enfatizam a necessidade de se delinear de forma mais estruturada a avaliação de acordo com as características específicas da tipologia de tecnologia, fornecendo insights para implementação de inovações nesse setor. Dessa forma, a revisão não apenas amplifica o conhecimento sobre a participação de especialistas, mas orienta futuras pesquisas e práticas na área da saúde.

CONCLUSÕES

O mapeamento das evidências sobre a participação de especialistas no processo de ATS mostrou que o atributo avaliado é uma das características definidoras da participação do especialista e está diretamente relacionado ao tipo de tecnologia. A área de expertise predominante para inclusão na avaliação é a da saúde, com exceção das tecnologias classificadas como SG, e a inclusão de outras áreas depende do tipo de tecnologias em avaliação. A amostra de especialistas variou, na maioria dos estudos, de três a quinze. A seleção dos especialistas se dá por meio de informações obtidas em instituições e na literatura, mas esta informação é uma lacuna, pois há pouca transparência nos estudos deste dado.

DISPONIBILIDADE DE DADOS E MATERIAL

Os dados de pesquisa estão disponíveis no corpo do artigo.

Associated Data

    This section collects any data citations, data availability statements, or supplementary materials included in this article.

    Data Availability Statement

    The research data are available within the article.

    Os dados de pesquisa estão disponíveis no corpo do artigo.


    Articles from Revista Brasileira de Enfermagem are provided here courtesy of Associação Brasileira de Enfermagem

    RESOURCES