Skip to main content
NCBI home page
CoDAS logoLink to CoDAS
. 2023 Oct 9;35(5):e20220103. doi: 10.1590/2317-1782/20232022103en
View full-text in Portuguese

Avazum app usability testing

Hionara Nascimento Barboza 1,✉, Marcillyo Carneiro de Lima 2, Rubens Jonatha dos Santos Ferreira 1, Marine Raquel Diniz da Rosa 1, Ana Loisa de Lima e Silva Araújo 1, Angélica de Souza Galdino Acioly 2
PMCID: PMC10688289  PMID: 37820196

ABSTRACT

Purpose

To verify the effectiveness, efficiency, and satisfaction in the usability test of the tinnitus assessment application.

Methods

This is a descriptive usability test study that assessed the satisfaction, effectiveness, and efficiency of the application. The test was carried out virtually via Google Forms. First, the participants received instructions on how to access and use Avazum, through texts and illustrative images. Afterward, the users used the application, observing its functions and usability. Next, the participants answered the usability questionnaire. Statistical analysis was performed using the Statistical Package for the Social Sciences, version 21.0, to perform descriptive analysis such as frequency, percentages of data in the System Usability Questionnaire (SUS), and analysis in the Net Promoter Score (NPS).

Results

Thus, the overall mean SUS score was consistent with satisfactory usability, which implies that the application does not present serious usability problems. Also, the overall NPS percentage indicated very good user satisfaction, with a good percentage of promoting users. As far as effectiveness is concerned, it was found that Avazum reached its goals, besides being efficient, as it uses clear language and is comfortably used.

Conclusion

Avazum obtained very good satisfaction from users, in addition to achieving its goals. It proved to be effective, has clear language, and is comfortably used, adducing efficiency in the multidisciplinary evaluation of tinnitus.

Keywords: Mobile Applications, Tinnitus, Evaluation Study, User-involved Design, Technological Development and Innovation Projects

INTRODUCTION

The scientific revolution has brought to society a wider look at how to deal with the world, providing advances in all areas. Technology is a result of modern science, combining techniques and methods to develop it and make it as powerful and useful as it is today(1). Technology became a great ally in the field of health, with advances in procedures, techniques, healing, innovation in health education, healthcare, and so forth. The quick development and generalized use of mobile technology have been expanding opportunities for health activities, ushering in a new era - that of mobile health (mHealth)(2).

Technological innovations are becoming one of the main allies in all areas of speech-language-hearing therapy, including health processes, products, and services. Currently, various applications and pieces of software are being developed to innovate therapy, assessment, health education, and so on. Concerning tinnitus, various applications are currently available to help its treatment, such as sound therapy and cognitive behavioral therapy. Applications with greater availability on platforms are those focused on therapy, but few of them have functions aimed at multidisciplinary assessments, with differential referral functions. Moreover, most applications did not undergo usability tests(3).

Avazum is an application developed to help in the initial assessment of tinnitus, helping screen and refer users to the necessary professionals, providing detailed assessment according to the need in each case, and hints and instructions on tinnitus care. The application has three main interfaces, namely: the registry screen, the assessment screens, and the screen with results, referrals, hints, and guidance. It was developed by an interdisciplinary team, involving speech-language-hearing therapists, programmers, and designers, members of two research groups on health technology innovation, and a study and research group on tinnitus of the Federal University of Paraiba. The application has undergone all development phases, and its usability test is conducted in this study.

A usability test is a method to verify interface functioning in a digital platform. It is used in websites, applications, and other tools, leading real users to do certain tasks. After its development, its usability and main difficulties are analyzed. Usability tests record the best results for future updates, minimizing the costs of technical support to users, increasing sales, and predicting new products with fewer usability problems.

The usability test is an indispensable requirement to develop technological innovation products, as it analyzes the necessary information to detect occasional usability problems and, consequently, furnishes tools to deliver a quality product to users(4).

Evidence-based health practices are essential to provide excellent services with proven results. When developing innovative products in this area, it is essential to understand the needs of users to meet the desired experience with objectivity and quality in the target functions.

Hence, this study aimed to verify the effectiveness, efficiency, and satisfaction of the usability test of the tinnitus assessment application.

METHODS

Avazum characterization

The application initially has a user registry screen with an e-mail and password for their login. After registering, users are directed to interactive assessment screens, with all aspects related to the symptoms - e.g., how it began, type and sound characterization and location - and audio-visual resources. Later, they are directed to sessions on the habits that worsen or improve tinnitus perception, measuring discomfort with a visual analog scale. After finishing all assessment stages, users have access to the results, indicating possible symptoms and associated causes. It also indicates professionals according to each case’s specificities, based on referral descriptors, relating the symptoms with specific professionals in each area, including speech-language-hearing therapists, otorhinolaryngologists, psychologists, physical therapists, and nutritionists. In the end, it provides hints and guidance on tinnitus care related to physical and mental health. The application’s registry number in INPI is BR512020001425-9. Further details on the application will be provided in another study entitled “Developing Avazum: An interactive tinnitus assessment application”, yet to be published.

Study design and instruments used

This is a descriptive study of the usability test of a tinnitus assessment application (Avazum).

The instruments used in the usability research addressed the application’s satisfaction, efficiency, and effectiveness (Annex A). Satisfaction was assessed with an empirical method, using the System Usability Questionnaire (SUS) and Net Promoter Score (NPS), while its efficiency and effectiveness were assessed with an analytical method, considering heuristic principles for the application.

  • Effectiveness

The assessment aimed at collecting information on meeting the users’ objectives and the product’s capacity to do that for which it was designed. Hence, it approaches the assessment, guidance, and referral of tinnitus patients. Efficiency and effectiveness responses are observed based on the presence or absence of problems to be solved. If the user perceives a problem, they indicate its severity on an importance scale: (0) not important, (1) layout/appearance problems, (2) simple problems, (3) severe problems, and (4) catastrophic problems. After responding on the scale, they can suggest solutions.

  • Efficiency

Efficiency analysis aims at the application browsability, considering the amount of effort required from users to reach the product’s goals. Hence, its approaches the visibility of elements in the application, language use, and information to do the tasks. The following questionnaire items were assessed: “Are the instructions enough to do the application’s tasks?”; “Is the usage information clear and does it help pass to other application phases?”; “Did you feel any discomfort in using the application?”. Users had three answer options for each item: “yes”; “partly”, and “no”. After the collection, data were descriptively analyzed.

  • Satisfaction

Methods that measure user satisfaction with questionnaires help widely assess various types of products and systems. SUS, developed by John Brooke in 1996, is a much-known and used usability numerical scale that assesses the effectiveness, efficiency, and satisfaction of software, products, services, websites, and other types of interfaces. SUS is widely used for balancing scientific accuracy and objectivity in 10 questions(5).

Data collected with SUS analyzed the responses to the 10 questions in two sets of independent data addressing two factors - Usability (eight questions) and Apprehensibility (2 questions)(5). Agreement levels in the questionnaire are recorded with a 5-point Likert scale with the following 10 agreement/disagreement indications: I strongly/totally disagree (1), I disagree (2), neutral (3) I agree (4), and I strongly or totally agree (5).

Odd alternatives (items 1, 3, 5, 7, and 9) in the questionnaires are positively written about the product, while even ones (items 2, 4, 6, 8, and 10) are negative. Some terms can be adapted to the context, users, and product being assessed. After indicating each question’s agreement level, the final SUS score is obtained as follows: in odd items, 1 is subtracted from the user’s score, and in odd ones, 5 is subtracted from their response. Then, the values of the 10 questions are added and multiplied by 2.5, reaching a score that can range from 0 to 100. The assessment considers the whole questionnaire, rather than individual items, representing a compound measure of the overall system capacity(6).

The author of the method does not indicate precisely what the scores represent in terms of system usability quality. However, studies conducted in different applications indicate that the mean SUS score is around 70 points and that results below this value represent serious usability problems. Other studies conducted with SUS consider this mean as a satisfactory usability index(6).

NPS assessment is based on the following question: “How much would you recommend this application to someone?”. The answer to this question is indicated on a scale ranging from 0 to 10. Response-based calculations and analyses are divided into three categories: Promotors, for respondents who score 9 or 10, are satisfied and encourage people to use the application; Neutral, for those who score 7 or 8 and do not help or hinder making the application known; and Detractors, for those who score 0 to 6 as a sign of their dissatisfaction. The overall satisfaction is calculated by subtracting the percentage of promoters from the percentage of detractors. Excellent NPS results are those from 75 to 100%; very good, from 50 to 74%; average, from 0 to 49; poor from -100 to -1.

Characterization of the sample

The study population comprised tinnitus patients attended at the Tinnitus Outreach Project of the Speech-Language-Hearing Sciences program at the Federal University of Paraiba. The sample size was calculated with G*Power software, resulting in 47 patients to make up the virtual project guidance group, although the final sample had 48 patients - 62.5% (30) were women, and 37.5% (18) were men. Their ages ranged from 25 to 65 years, with a mean age of 43.5 years and a standard deviation of 11.8. Regarding educational attainment, 8.33% (4) never went to school; 20.8% (10) and not finished elementary school; 20.8% (10) had not finished high school; 22.91% (11) were high school graduates, and 25% (12) had a bachelor’s degree.

As for participation criteria, the study included all tinnitus patients who attended the Tinnitus Outreach Project of the Speech-Language-Hearing Sciences program at the Federal University of Paraiba who had access to their own or a relative’s mobile phone with an Android operating system.

Procedures

The research was conducted online between October and December 2021. The usability test had three main stages: first, users used the product being tested; then, they answered the usability questionnaire on their satisfaction, effectiveness, and efficiency regarding the product; lastly, the researchers analyzed the results.

Thus, the research began by inviting volunteer participants, to whom the procedures were explained. Those who agreed to participate in the research signed an informed consent form, which was sent online via Google Forms. After this stage, participants received instructions to access and use Avazum. Then, they used the application and its functions (i.e., assessed their tinnitus) and received necessary referrals, hints, and guidance on tinnitus care. Lastly, participants answered the usability questionnaire to collect data. The stages are listed separately below.

  1. Inviting volunteer participants.

  2. Signing the informed consent form.

  3. Sending instructions to access and use the application, with explanatory images and texts.

  4. Users used the Avazum application.

  5. Participants answered the usability questionnaire in Google Forms.

  6. Researchers analyzed the results.

Data analysis

Data were tabulated in 2019 Microsoft Excel (16.0) for quantitative analysis. The Statistical Package for the Social Sciences (SPSS), version 21.0.4.7, was used for the descriptive analysis, addressing frequency, percentages, and SUS score analysis.

Ethical considerations

This project was submitted to and approved by the Research Ethics Committee of the Department of Health Sciences of the Federal University of Paraiba, under evaluation report number 4.297.792. Informed consent was obtained from all participants. All procedures complied with the guidelines and parameters of the agencies that regulate health ethics norms.

RESULTS

Avazum was analyzed regarding its efficiency and effectiveness and participating user satisfaction. They analyzed aspects such as visibility of elements in the application, language use, information to do the tasks, assessments, guidance, and referrals of tinnitus patients. The results are presented below.

Satisfaction

This item analyzed 10 SUS questions and the NPS assessment, in which users scored their level of recommendation of the application, ranging from 0 to 10. The overall SUS score was 78.28, considered a good score that demonstrates the absence of severe usability problems. Most users reported they would like to use the application often and could easily use it, denying the need for support to use the Avazum functions well - despite the presence of older participants and people with low educational attainment in the sample. These results can be seen in detail in Table 1. Avazum was found to be consistent, and its functions are well-integrated, providing comfort and confidence in its use, as seen in the results in Table 2.

Table 1. Questions related to the satisfaction with Avazum application.

I would like to use the application often I found the application unnecessarily complicated
Frequency Percentage Frequency Percentage
I totally disagree 0 0 12 25
I disagree 3 6.3 33 68.8
Neutral 12 25 3 6.3
I agree 23 47.9 0 0
I totally agree 10 20.8 0 0
Total 48 100 48 100
Open in a new tab

Source: The authors

Table 2. Questions related to the ease of using the Avazum application.

I found the various application functions well integrated I found many inconsistencies in the application I felt very confident using the application
Frequency Percentage Frequency Percentage Frequency Percentage
I totally disagree 0 0 12 25 0 0
I disagree 0 0 33 68.8 2 4.2
Neutral 7 14 2 4.2 7 14.6
I agree 33 68.8 1 2.1 29 60.4
I totally agree 8 16.7 0 0 10 20.8
Total 48 100 48 100 48 100
Open in a new tab

Concerning the key satisfaction points, participants were satisfied and encouraged others to use the application. Thus, the NPS scale and SUS score verified good user satisfaction regarding Avazum. The overall NPS percentage was 58%, indicating that NPS was very good - i.e., there was a higher satisfaction rate. Values are shown in detail in Figure 1, below.

Figure 1. Percentages of user satisfaction.

Figure 1

Open in a new tab

Caption: The figure above shows the percentages of user satisfaction with Avazum, based on the question “How much would you recommend using the application?”. The horizontal line presents scores ranging from and 0 to 10, the vertical line has the percentages of the users’ scores. Source: The authors

Effectiveness

Users understood well the tasks, instructions, and language in the application. They followed all tasks and described their tinnitus using the application. The hints and guidance provided in Avazum proved to be relevant/interesting to their realities. As for referrals to professionals. They were disappointed with the lack of clarity. Therefore, referrals must be clearer, and the list of professionals must be more complete. The list of professionals was updated based on a master’s research on the “profile of professionals specialized in treating tinnitus patients in Brazil” and will be added to the application in its next update. Tables 3 and 4 show the results in further detail.

Table 3. Questions related to Avazum application efficiency.

Did you understand the instructions in the application? Was the language clear? Could you describe your tinnitus?
Frequency Percentage Frequency Percentage
Yes 36 75 40 83.3
Partly 11 22.9 8 6.3
No 1 2.1 0 0
Total 48 100 48 100
Open in a new tab

Source: The authors

Table 4. Questions related to Avazum application effectiveness.

Were the instructions regarding tinnitus in the application relevant/interesting to your reality? Was the referral to healthcare with professionals objective and easy to access?
Frequency Percentage Frequency Percentage
Yes 47 97.9 20 41.7
Partly 1 2.1 26 54.2
No 0 0 2 4.2
Total 48 100 48 100
Open in a new tab

Source: The authors

Efficiency

Concerning application efficiency, the assessments were sufficient for the key application goals, and the information on the screens was clear - thus, browsing Avazum was comfortable. Table 5 shows the information in further detail.

Table 5. Questions related to the Avazum application efficiency.

Were the instructions enough to do the application tasks? Is usage information clear, helping pass to subsequent application phases? Did you feel any discomfort in using the application?
Frequency Percentage Frequency Percentage Frequency Percentage
Yes 45 93.8 46 95.8 8 16.7
Partly 3 6.3 2 4.2 1 2.1
No 0 0 0 0 39 81.3
Total 48 100 48 100 48 100
Open in a new tab

Thus, after analyzing the SUS score, its mean proved to be satisfactory, which indicates that the application has no severe usability problems and a good percentage of promoting users, who scored 9 and 10 in NPS satisfaction. The overall NPS percentage showed that the user satisfaction is very good. Moreover, the data descriptive analysis showed that Avazum effectively reached its goals, assessing tinnitus, making referrals, and providing hints and guidance to users. It is also efficient, as its language is clear, and its use is comfortable. However, the effectiveness item that assessed referrals was flawed regarding its ease of use and instruction on access.

DISCUSSION

Usability is an important aspect of the quality of products and systems. It is a concept widely used in product development, aiming to observe people using the product, based on the interaction between the human, the task, and the product. A growing number of companies are recognizing not only the importance of usability in the design process but also its potential to ensure advantages in the market. Given such importance, the topic has been addressed in various studies by researchers and specialists(7). The main focus of the usability test is the users’ needs, aiming to provide them with an excellent experience. Thus, the essential focus of usability evidently is the ease of use when interacting with the product.

Usability tests count on tools and questionnaires to verify the effectiveness, efficiency, and satisfaction with the tested product. According to ISO 9241:11 (1998), effectiveness is normally assessed by the number of stages the user successfully completed, efficiency focuses on the time users append to reach the goals, and satisfaction is assessed with protocols. User satisfaction is directly related to the levels of comfort and enjoyment in using the product(8). Methods that measure user satisfaction with questionnaires contribute to a comprehensive assessment of various types of products and systems(8).

Usability is a key tool to develop health technology innovation tools. Hence, this stage must be carefully carried out, focusing on real users. A study aimed to verify the methodology of usability tests regarding health applications and showed that 75.9% of them were tested in real users, such as patients and professionals, whereas only 6% were tested in specialized professionals. It also demonstrated that most tests used quantitative and qualitative questionnaires(9).

SUS score ranges from 0 to 100, although the questionnaire validation study does not provide details of what each score represents regarding a product’s usability. However, the study by Zorzal (2009) demonstrates that adequate scores range from 70 to 100, below which, the product may have serious usability problems. Hence, mean scores above 70 are satisfactory, showing that Avazum did not have major usability problems.

Satisfaction was also analyzed based on NPS, which is widely used to verify clients’ satisfaction with products, services, attention, and so on. When the percentage of promoting clients/users is greater than that of detractors, the product is more likely to be indicated by people who use it. As for neutrals or passive clients, they are not dissatisfied but are unlikely to indicate it to other people. A total NPS score above 50% shows a very good satisfaction with the product, whereas, below 49%, the satisfaction was not good(10).

To obtain high usability, an application must have adequate effectiveness and efficiency levels. Characteristics such as good menu accessibility, common functions in the screens, fonts and sizes that favor reading even among users with difficulties, and simple tasks that make the next step clear are important to efficiency assessment. Hence, an application with clear language, enough instructions to do tasks, and clear information to pass to other screens is efficient regarding its functions(11).

Effective products and services can reach their goals and meet users’ real needs. The activities in the final version of mobile applications must be functional, considering whether it has enough functions. Usability tests must analyze their efficiency considering each item and the functions that did not meet the users’ needs(12).

A study assessed 66 applications available to people with diabetes, using a 5-point Likert scale. The results showed mean answers between 3 and 4, indicating that applications had moderate to good usability, especially the ones that were easy to use and had clear language(13).

As a limitation of the study, it is important to mention that Avazum is not yet available in the iOS system. Hence, the usability test could not include patients who use this mobile system. The next steps will include the application for the iOS system, translating and adapting it to other languages, and conducting further tests encompassing the updates.

CONCLUSION

Users understood all tasks and described their tinnitus using the application, thus demonstrating that Avazum was effective regarding its goals. Also, the application functions are well integrated, clearly arranged, and comfortable to use, proving to efficiently do its functions. Moreover, Avazum users presented a good satisfaction index. It is a promising application to help assess tinnitus, refer users, and promote health through its instructions.

Annex A. Usability Questionnaire

Satisfaction

1.1 System Usability Scale (SUS) (BROOKE, 1996)

Regarding your satisfaction with the application, please answer:

1 I totally disagree

2 I disagree

3 Neutral

4 I agree

5. I totally agree

1. I would like to use this application often

2. I found the application unnecessarily complicated

3. I found the application easy to use

4. I thought I would need support from a more specialized person to use this application

5. I thought the various application functions are well integrated

6. I found many inconsistencies in this application

7. I imagine most people would quickly learn how to use this application

8. I felt very confident using this application

9. I would need to learn many things before I could use this application

1.2 Net Promoter Score

How much would you recommend this application to someone?

() 0 ()1 ()2 ()3 ()4 ()5 () 6 ()7 ()8 ()9 ()10

Use effectiveness

2.1 When you used the application, did you understand its tasks and instructions? Is its language clear?

[ ] Yes, I understood all of them

[ ] Yes, I understood some of them

[ ] No, I didn’t understand them

If you answered one of the last two alternatives, please indicate how serious the problem was:

0 - Not important

1 - Layout/appearance problem

2 - Simple problem

3 - Severe problem

4 - Catastrophic problem

Do you have any suggestions to fix the problem?

2.2 Could you describe your tinnitus by answering the application questions?

[ ] Yes

[ ] Partly

[ ] No

If you answered one of the last two alternatives, please indicate how serious the problem was:

0 - Not important

1 - Layout/appearance problem

2 - Simple problem

3 - Severe problem

4 - Catastrophic problem

Do you have any suggestions to fix the problem?

2.3 Were the instructions in the tinnitus application relevant/interesting to your reality?

[ ] Yes

[ ] Partly

[ ] No

If you answered one of the last two alternatives, please indicate how serious the problem was:

0 - Not important

1 - Layout/appearance problem

2 - Simple problem

3 - Severe problem

4 - Catastrophic problem

Do you have any suggestions to fix the problem?

2.4 Was the referral to healthcare with professionals objective and easy to access?

[ ] Yes

[ ] Partly

[ ] No

If you answered one of the last two alternatives, please indicate how serious the problem was:

0 - Not important

1 - Layout/appearance problem

2 - Simple problem

3 - Severe problem

4 - Catastrophic problem

Do you have any suggestions to fix the problem?

Use efficiency

3.1 Visibility of elements in the application

The visual arrangement of images is adequate

[ ] Yes

[ ] Partly

[ ] No

If you answered one of the last two alternatives, please indicate how serious the problem was:

0 - Not important

1 - Layout/appearance problem

2 - Simple problem

3 - Severe problem

4 - Catastrophic problem

Do you have any suggestions to fix the problem?

Font sizes are adequate and readable

[ ] Yes

[ ] Partly

[ ] No

If you answered one of the last two alternatives, please indicate how serious the problem was:

0 - Not important

1 - Layout/appearance problem

2 - Simple problem

3 - Severe problem

4 - Catastrophic problem

Do you have any suggestions to fix the problem?

3.2 Language used

Instructions are enough to do the application tasks

[ ] Yes

[ ] Partly

[ ] No

If you answered one of the last two alternatives, please indicate how serious the problem was:

0 - Not important

1 - Layout/appearance problem

2 - Simple problem

3 - Severe problem

4 - Catastrophic problem

Do you have any suggestions to fix the problem?

Usage information is clear and helps pass to subsequent application phases

[ ] Yes

[ ] Partly

[ ] No

If you answered one of the last two alternatives, please indicate how serious the problem was:

0 - Not important

1 - Layout/appearance problem

2 - Simple problem

3 - Severe problem

4 - Catastrophic problem

Do you have any suggestions to fix the problem?

3.4 Comfort

Did you feel any discomfort in using the application

[ ] Yes

[ ] Partly

[ ] No

If you answered one of the last two alternatives, please indicate how serious the problem was:

0 - Not important

1 - Layout/appearance problem

2 - Simple problem

3 - Severe problem

4 - Catastrophic problem

Do you have any suggestions to fix the problem?

Footnotes

Study conducted at Universidade Federal da Paraíba - UFPB - João Pessoa (PB), Brasil.

Financial support: nothing to declare.

REFERENCES

  • 1.Menéndez G. La revolución de la longevidad: cambio tecnológico, envejecimiento poblacional y transformación cultural. Rev Cienc Soc. 2017;30(41):159–178. [Google Scholar]
  • 2.Masters K, Ellaway RH, Topps D, Archibald D, Hogue RJ. Mobile technologies in medical education: AMEE Guide No. 105. Med Teach. 2016;38(6):537–549. doi: 10.3109/0142159X.2016.1141190. [DOI] [PubMed] [Google Scholar]
  • 3.Mehdi M, Dode A, Pryss R, Schlee W, Reichert M, Hauck FJ. Contemporary review of smartphone apps for tinnitus management and treatment. Brain Sci. 2020;10(11):867–868. doi: 10.3390/brainsci10110867. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 4.Schiavoni FL, Gonçalves LL. Teste de usabilidade do sistema Mosaicode.; IV Workshop de Iniciação Científica em Sistemas de Informação (WICSI); Lavras: UFLA; 2017. pp. 5–8. Proceedings. [Google Scholar]
  • 5.Lewis JR, Sauro J. The factor structure of the system usability scale.; International Conference on Human Centered Design; Berlin: Springer; 2009. pp. 94–103. Proceedings. [DOI] [Google Scholar]
  • 6.Brooke J. In: Usability evaluation in industry. Jordan PW, Thomas B, Weerdmeester BA, McClelland IL, editors. London: Taylor & Francis; 1996. SUS: a quick and dirty usability scale. pp. 189–194. [Google Scholar]
  • 7.Falcão C, Soares M. Usabilidade de Produtos de Consumo: uma análise dos conceitos, métodos e aplicações. Estudos em Design. 2013;21(2):1–26. [Google Scholar]
  • 8.Gobbi AG, Merino EAD, Merino GSAD, Gontijo LA. Uso do eye tracking para obtenção de medidas quantitativas em testes de usabilidade: um estudo focado na medida da satisfação. Human Factors in Design. 2017;6(11):106–125. doi: 10.5965/2316796306112017106. [DOI] [Google Scholar]
  • 9.Maramba I, Chatterjee A, Newman C. Methods of usability testing in the development of eHealth applications: a scoping review. Int J Med Inform. 2019;126:95–104. doi: 10.1016/j.ijmedinf.2019.03.018. [DOI] [PubMed] [Google Scholar]
  • 10.Fred R, Markey R. A pergunta definitiva 2.0: como as empresas que implementam o net promoter score prosperam em um mundo voltado aos clientes. Rio de Janeiro: Alta Books; 2021. [Google Scholar]
  • 11.Feijó VC, Gonçalves BS, Gomez LSR. Heurística para avaliação de usabilidade em interfaces de aplicativos smartphones: utilidade, produtividade e imersão. Design e Tecnologia. 2013;3(6):33–42. doi: 10.23972/det2013iss06pp33-42. [DOI] [Google Scholar]
  • 12.Silva AP, Barbosa BJP, Hino P, Nichiata LYI. Usabilidade dos aplicativos móveis para profissionais de saúde: revisão integrativa. J Health Inform. 2021;13(3):100–105. [Google Scholar]
  • 13.Arnhold M, Quade M, Kirch W. Mobile Applications for diabetics: a systematic review and expert-based usability evaluation considering the special requirements of diabetes patients age 50 years or older. J Med Internet Res. 2014;16(4):e104. doi: 10.2196/jmir.2968. [DOI] [PMC free article] [PubMed] [Google Scholar]
Codas. 2023 Oct 9;35(5):e20220103. [Article in Portuguese] doi: 10.1590/2317-1782/20232022103pt

Teste de usabilidade do aplicativo Avazum

Hionara Nascimento Barboza 1,✉, Marcillyo Carneiro de Lima 2, Rubens Jonatha dos Santos Ferreira 1, Marine Raquel Diniz da Rosa 1, Ana Loisa de Lima e Silva Araújo 1, Angélica de Souza Galdino Acioly 2

RESUMO

Objetivo

Verificar a efetividade, eficiência e satisfação no teste de usabilidade para o aplicativo de avaliação do zumbido.

Método

Trata-se de um estudo descritivo de teste de usabilidade, no qual será avaliado satisfação, eficácia e eficiência do aplicativo. O teste foi realizado virtualmente por meio de um formulário do Google Forms. Primeiramente, os participantes receberam as instruções de acesso e uso do avazum através de textos e imagens ilustrativas. Logo após, os usuários fizeram o uso do aplicativo, observando suas funções e usabilidade. Em seguida, os participantes responderam o questionário de usabilidade. A análise estatística foi realizada no software Statistics Package for the Social Sciences (SPSS) versão 21.0 para realizar a análise descritiva como frequência, percentagens dos dados do System Usability Questionnaire (SUS), além de análise do score do Net Promoter Score (NPS).

Resultados

Sendo assim, a média geral do score do SUS foi condizente com score de usabilidade satisfatório, o que implica dizer que o aplicativo não apresenta graves problemas de usabilidade, além da porcentagem geral NPS indicar uma satisfação muito boa dos usuários, com bom percentual de usuários promotores. No que diz respeito sobre a efetividade, foi possível observar que o Avazum atinge os objetivos propostos, além de ser eficiente, pois apresenta uma linguagem clara e confortabilidade durante o uso.

Conclusão

O Avazum obteve satisfação muito boa dos usuários, além de atingir os objetivos propostos, tornando-o efetivo, apresentou uma linguagem clara e confortabilidade durante o uso, aduzindo eficiência na avaliação multidisciplinar do zumbido.

Descritores: Aplicativos Móveis, Zumbido, Estudo de Avaliação, Design Centrado no Usuário, Projetos de Desenvolvimento Tecnológico e Inovação

INTRODUÇÃO

A revolução científica vem trazendo à sociedade um olhar mais amplo ao lidar com o mundo, proporcionando avanços em todas as áreas, considerando que a tecnologia é um fruto da ciência moderna que uniu técnicas e métodos para desenvolvê-la e fazer dela a potência e instrumento que é hoje(1). No campo da saúde, a tecnologia tornou-se uma grande aliada com avanços em procedimentos, em técnicas, curas, inovação em educação em saúde, atendimentos e dentre outros. O rápido desenvolvimento e uso generalizado de tecnologias móveis vêm expandindo novas oportunidades de atividades em saúde, uma nova era se faz presente, a mobile health (mHealth), mais conhecida como saúde móvel(2).

Na Fonoaudiologia, a inovação tecnológica está se tornando umas das principais aliadas em todas suas áreas de atuação, seja em processos, produtos ou serviços em saúde. Atualmente, vários aplicativos e softwares estão sendo desenvolvidos para inovações na execução de terapias, avaliação, educação em saúde e dentre outros. No que se refere ao zumbido, hoje estão disponíveis uma diversidade de aplicativos que auxiliam no tratamento, como terapia sonora e terapia cognitivo comportamental. Os aplicativos com maiores leques de disponibilidades nas plataformas são os com ênfase em terapia, poucos tem funções voltadas para avaliação multidisciplinar que contém funções de encaminhamento diferencial. É importante mencionar que a maior parte dos aplicativos não realizou o teste de usabilidade(3).

Nesse sentido, O Avazum é um aplicativo desenvolvido para auxiliar na avaliação inicial do zumbido, ajudando na triagem e encaminhamento dos usuários para os profissionais necessários, realizando uma avaliação detalhada, segundo a necessidade de cada caso, além de disponibilizar dicas e orientações sobre os cuidados com o zumbido. O aplicativo apresenta três interfaces principais, a tela de cadastro, as telas para avaliação propriamente dita e as telas de resultados, encaminhamentos, dicas e orientações. Foi desenvolvido por uma equipe interdisciplinar entre Fonoaudiólogos, Programador e Designers, membros de dois grupos de pesquisa em inovação tecnológica em saúde e grupo de estudo e pesquisa em zumbido da Universidade Federal da Paraíba. O aplicativo já passou por todas as fases de desenvolvimento, sendo realizado o teste de usabilidade no presente estudo.

Teste de usabilidade é um método de verificação de funcionalidades da interface de uma plataforma digital. É empregado em websites, aplicações e outras ferramentas, levando usuários reais à execução de determinadas tarefas. Após seu desenvolvimento, é realizada uma análise de usabilidade e das principais dificuldades. Por meio de testes de usabilidade, pode-se registrar os melhores resultados obtidos para futuras atualizações levando à minimização do custo do serviço de suporte aos usuários, crescimento de vendas e prever o lançamento de produtos com menos problemas de usabilidade.

O teste de usabilidade é um quesito imprescindível no desenvolvimento de um produto com inovação tecnológica, pois analisa as informações necessárias para detectar eventuais problemas de usabilidade e consequentemente, fornece ferramentas para entregar um produto com qualidade para os usuários(4).

Na área da saúde, a prática baseada em evidência é essencial para oferecer um serviço de excelência com resultados comprovados. Ao desenvolver um produto de inovação para essa área, é imprescindível buscar a compreensão das necessidades do usuário para que se possa atender com objetividade e qualidade a experiência desejada na realização das funções alvo.

Dessa forma, o objetivo deste estudo é verificar a efetividade, eficiência e satisfação no teste de usabilidade para o aplicativo de avaliação do zumbido.

MÉTODO

Caracterização do Avazum

O aplicativo contém inicialmente uma tela de cadastro do usuário com e-mail e senha para realizar o login. Após o cadastro, os usuários serão direcionados para as telas de avaliação, com todos os aspectos relacionados ao sintoma, como ocorreu seu início, caracterização do tipo de som e localização de forma interativa, com recursos áudios visuais. Posteriormente, terão as sessões sobre os hábitos que pioram ou melhoram a percepção do zumbido, e mensuração do incômodo com o auxílio da Escala Visual Analógica. Após todas as etapas de avaliação concluídas, os usuários terão acesso ao resultado, indicando os possíveis sintomas e causas associadas. Além, da indicação para os profissionais de acordo com as especificidades de cada caso avaliado, baseados nos descritores de encaminhamento, relacionando os sintomas descritos com os profissionais específicos de cada área. Os profissionais que estão inseridos são: Fonoaudiólogo, Otorrinolaringologista, Psicólogo, Fisioterapeuta e Nutricionista. Ao final, ficarão disponibilizados dicas e orientações sobre os cuidados do o zumbido, relacionados com saúde física e mental. O número de registro do aplicativo no INPI é BR512020001425-9. Mais detalhes sobre o aplicativo ficarão disponíveis em um outro estudo intitulado “Desenvolvendo o Avazum: Aplicativo de avaliação interativa do zumbido” no qual será publicado.

Desenho do estudo e instrumentos utilizados

Estudo descritivo de teste de usabilidade do Aplicativo de Avaliação do Zumbido (Avazum).

Os instrumentos utilizados para pesquisa de usabilidade contemplaram as dimensões de satisfação, eficiência e efetividade do aplicativo (Anexo A), sendo a satisfação avaliada por método empírico, através do questionário de usabilidade System Usability Questionnaire - SUS e do Net Promoter Score - NPS e as dimensões de eficiência e eficácia de uso, por método analítico, considerando princípios heurísticos para o aplicativo.

  • Efetividade

A avaliação foi direcionada à coleta de informações sobre o alcance dos objetivos por parte dos usuários e a capacidade do produto para fazer o que se propõe. Nesse propósito, são abordados os aspectos de avaliação, orientações e encaminhamentos de pacientes com zumbido. Nas dimensões de eficiência e efetividade, as respostas são observadas a partir da presença ou ausência de problemáticas a serem solucionadas. No caso de apontamento afirmativo para o problema, o usuário apontará a severidade na escala de importância: (0) sem importância, (1) problema cosmético/aparência, (2) problema simples, (3) problema grave e (4) problema catastrófico. Após responder na escala, realizará a sugestão de correção.

  • Eficiência

Na eficiência, a análise é direcionada à navegabilidade do aplicativo, considerando a quantidade de esforço exigida dos usuários para atingir os objetivos propostos pelo produto. Nesse intuito, são abordados a visibilidade dos elementos do aplicativo, utilização da linguagem, informações para realização das tarefas. Os itens do questionário que foram avaliados na eficiência foram “Os enunciados são suficientes para realização das tarefas propostas no aplicativo?”; As informações de uso são claras e possibilitam a passagem de fases no aplicativo?”; “Você sentiu algum desconforto na utilização do aplicativo?”. Para cada item os usuários tinham três opções “sim”; “em parte” e “não”. Após a coleta, foi realizada a análise descritiva dos dados.

  • Satisfação

Métodos que permitem medir a satisfação dos usuários por meio de questionários contribuem para uma avaliação ampla para vários tipos de produtos e sistemas. Um questionário conhecido e muito utilizado é o SUS- System Usability Scale, por John Brooke em 1986, é uma escala numérica de usabilidade que efetividade, eficiência e satisfação de 10 software, produtos, serviços, websites e outros tipos de interface. O SUS é bastante utilizado por ter um equilíbrio em ser cientificamente apurado e objetivo, consiste em 10 perguntas(5).

A análise dos dados coletados com o questionário de usabilidade System Usability Questionnaire - SUS foram verificados a partir das respostas das dez declarações em dois conjuntos de dados independentes através de dois fatores - Usabilidade (8 questões) e Apreensibilidade (2 questões)(5). Para o registro dos níveis de concordância, o questionário utiliza uma escala de Likert de 5 pontos com as seguintes 10 indicações de concordância/discordância: discordo fortemente ou totalmente (1), discordo (2), uma de neutralidade (3) e duas de concordância: concordo (4) e concordo fortemente ou totalmente (5).

As alternativas ímpares do questionário são redigidas de forma positiva sobre o produto avaliado, ou seja, os itens 1,3,5,7 e 9, enquanto os pares de forma negativa, itens 2,4,6,8 e 10. Tendo a possibilidade de alguns termos usados serem adaptados ao contexto, usuário e produto avaliado. Para obter o score final do SUS, após a indicação dos níveis de concordância de cada questão, para as respostas ímpares, subtrai-se 1 da pontuação que o usuário respondeu, para as respostas pares subtrai-se 5. Em seguida, os valores obtidos para as dez perguntas serão somados e multiplicados por 2,5, essa pontuação pode ir de 0 a 100, representando uma medida composta da capacidade geral do sistema, sendo a avaliação em conjunto, não por itens individuais(6).

O autor do método não apresenta precisamente o que a pontuação obtida pode representar em termos de qualidade da usabilidade do sistema avaliado, contudo, estudos realizados em diferentes aplicações indicam que a média do SUS gira em torno de 70 pontos, e que resultados abaixo desse valor representam problemas sérios de usabilidade(6).

Para o NPS, a avaliação é baseada na pergunta: O quanto você recomendaria este aplicativo para alguém? A resposta para pergunta será evidenciada em escala de 0 a 10. O cálculo e análise com base na resposta são divididos em três categorias: Promotores, para os respondentes que dão as notas 9 ou 10, estão satisfeitos e incentivam pessoas ao uso do aplicativo; Neutros para os respondentes que dão as notas 7 ou 8, não ajudam a divulgar o aplicativo, mas não atrapalham; e Detratores, para os respondentes que dão as notas de 0 a 6, como evidência de insatisfação. O cálculo para verificar a satisfação geral é realizado pela subtração da porcentagem dos promotores pela porcentagem de detratores. Resultado de 75 a 100% é considerado NPS excelente; 50 a 74%-NPS muito bom; 0 a 49- NPS razoável; -100 a -1 NPS ruim.

Caracterização da amostra

A população do estudo foi composta por pacientes com zumbido atendidos no Projeto de Extensão de Zumbido, do curso de Fonoaudiologia da Universidade Federal da Paraíba. Foi realizado o cálculo amostral pelo o software G*Power no qual resultou em 47 pacientes, que compõem o grupo virtual de orientação do projeto, porém a amostra final foi composta por 48 pacientes ao total. Dentre os 48 pacientes, 62,5% (30) foram mulheres e 37,5% (18) homens. As idades dos participantes da pesquisa foram de 25 a 65 anos, com idade média de 43,5 anos e desvio padrão de 11,8. Com relação à escolaridade, 8,33% (4) nunca foram à escola; 20,8% (10) ensino fundamental incompleto; 20,8% (10) ensino médio incompleto; 22,91% (11) ensino médio completo e 25% (12) ensino superior completo.

No que se refere aos critérios de participação, foram incluídos todos os pacientes que possuíam zumbido, eram atendidos no Projeto de Extensão de Zumbido, do curso de Fonoaudiologia da Universidade Federal da Paraíba e que tinham acesso ao um celular de uso próprio ou de algum familiar com sistema android.

Procedimentos

A pesquisa foi realizada de forma virtual no período de outubro a dezembro de 2021. O teste de usabilidade foi realizado em 3 etapas principais: primeiro os usuários utilizaram o produto alvo do teste; em seguida responderam aos questionários de usabilidade sobre a sua satisfação, eficácia e eficiência do produto testado; e por último, realizou-se a análise dos resultados pelos pesquisadores.

Sendo assim, a seguinte pesquisa teve início com o convite para a participação voluntária com explicação dos seus procedimentos, após o aceite para participação da pesquisa e assinatura do Termo de Consentimento Livre e Esclarecido- TCLE, o qual foi enviado virtualmente como um formulário do Google Forms. Cumprida essa etapa, os participantes receberam as instruções de acesso e uso do Avazum, e em seguida, fizeram uso do aplicativo e suas funções, ou seja, realizaram a avaliação do zumbido, além de receberem os encaminhamentos necessários, dicas e orientações sobre os cuidados do zumbido. Por último, os participantes responderam o questionário de usabilidade para a coleta de dados. Abaixo estão listadas as etapas separadamente.

  • 1.Convite para participação voluntária;

  • 2.Assinatura do TCLE;

    1. Envio das instruções de acesso e uso do aplicativo através de imagens e textos explicativos;

    2. Os usuários fizeram o uso do aplicativo Avazum;

    3. Os participantes responderam os questionários de usabilidade através do google forms;

    4. Análise dos resultados pelos pesquisadores.

Análise dos dados

Os dados foram tabulados no programa Microsoft Excel 2019 (16.0), o tipo de análise dos dados foi realizado de forma quantitativa. Foi utilizado o software Statistics Package for the Social Sciences (SPSS) versão 21.0. 4.7 para realizar a análise descritiva como frequência, percentagens, além de análise do escore do SUS.

Considerações éticas

Este projeto foi submetido e aprovado pelo Comitê de Ética em Pesquisa do Centro de Ciências da Saúde da Universidade Federal da Paraíba, com número do parecer de aprovação 4.297.792. Consentimento informado foi obtido de todos os participantes. Todos os procedimentos ocorreram de acordo com as diretrizes e balizamentos dos órgãos que regem as normativas éticas em saúde.

RESULTADOS

O Avazum foi analisado nos aspectos de eficiência, efetividade e satisfação dos usuários participantes. Os pontos analisados foram desde visibilidade dos elementos do aplicativo, utilização da linguagem, informações para realização das tarefas, como também, aspectos de avaliação, orientações e encaminhamentos de pacientes com zumbido. Sendo assim, os resultados serão apresentados abaixo.

Satisfação

Nesse quesito foram analisadas 10 declarações do questionário SUS, além da avaliação do NPS, no qual os usuários deram a nota de recomendação dos aplicativos, variando de 0 a 10. A média geral do score do SUS foi 78,28, evidenciando que não há problemas graves de usabilidade, sendo considerado um escore bom. A maior parte dos usuários evidenciaram que gostariam de utilizar o aplicativo com frequência e demonstraram facilidade em utilizá-lo, negando que precisariam de apoio para utilizar bem as funções do Avazum, mesmo havendo participantes idosos e com baixa escolaridade na amostra. É possível observar esses resultados detalhadamente nas Tabela 1. Foi possível observar que o Avazum é consistente e suas funções são bem integradas, propiciando um conforto e confiança ao utilizá-lo, como mostram os resultados na Tabela 2.

Tabela 1. Questões relacionadas à satisfação do aplicativo Avazum.

Gostaria de usar o aplicativo com frequência Achei o aplicativo desnecessariamente complicado
Frequência Percentual Frequência Percentual
Discordo totalmente 0 0 12 25
Discordo 3 6,3 33 68,8
Neutro 12 25 3 6,3
Concordo 23 47,9 0 0
Concordo totalmente 10 20,8 0 0
Total 48 100 48 100
Open in a new tab

Fonte: Autoria própria

Tabela 2. Questões relacionadas à facilidade de uso do aplicativo Avazum.

Achei que as diversas funções do aplicativo estão bem integradas Achei que havia muita inconsistência neste aplicativo Eu me senti muito confiante usando o aplicativo
Frequência Percentual Frequência Percentual Frequência Percentual
Discordo totalmente 0 0 12 25 0 0
Discordo 0 0 33 68,8 2 4,2
Neutro 7 14 2 4,2 7 14,6
Concordo 33 68,8 1 2,1 29 60,4
Concordo totalmente 8 16,7 0 0 10 20,8
Total 48 100 48 100 48 100
Open in a new tab

Em relação ao ponto chave da satisfação, os participantes demonstraram satisfeitos e incentivadores ao uso do aplicativo. Dessa forma, foi possível constatar que houve uma boa satisfação dos usuários com o uso do Avazum, através da escala do NPS e score do SUS. Após realizar o cálculo para obter a porcentagem geral do NPS, o resultado foi de 58%, indicando que o NPS foi muito bom, ou seja, houve maiores índices de satisfação. Os valores detalhados podem ser observados no gráfico abaixo representado na Figura 1.

Figura 1. Porcentagens sobre a satisfação dos usuário.

Figura 1

Open in a new tab

Legenda: A figura acima apresenta as porcentagens da satisfação dos usuários ao utilizar o Avazum, a partir da pergunta “O quanto recomendaria o uso do aplicativo?”. Na linha horizontal estão dispostas as notas variando de 0 a 10. Na linha vertical, estão dispostos os números em porcentagens das notas dos usuários. Fonte: Autoria própria

Efetividade

Foi possível observar que houve boa compreensão dos usuários no que se refere às tarefas e orientações apresentadas pelo aplicativo e a linguagem utilizada. Demonstraram compreender todas as tarefas e conseguiram descrever o zumbido utilizando o aplicativo. Com relação às dicas e orientações oferecidas no Avazum, demonstraram ser relevantes/interessantes para suas realidades. Ao serem questionados sobre os encaminhamentos para os profissionais, houve desapontamentos sobre a clareza dos direcionamentos. Sendo assim, os encaminhamentos precisam ser mais claros e a lista dos profissionais ser mais completa. É importante mencionar que a lista dos profissionais foi atualizada com base em uma pesquisa de mestrado sobre “Perfil dos Profissionais Especializados no Atendimento em Pacientes com Zumbido no Brasil” será adicionada na próxima atualização do app. Nas Tabelas 3 e 4 os resultados podem ser observados com mais detalhes.

Tabela 3. Questões relacionadas com eficácia do aplicativo Avazum.

Compreendeu as tarefas e orientações apresentadas pelo aplicativo? A linguagem é clara? Conseguiu descrever o zumbido?
Frequência Percentual Frequência Percentual
Sim 36 75 40 83,3
Em parte 11 22,9 8 6,3
Não 1 2,1 0 0
Total 48 100 48 100
Open in a new tab

Fonte: Autoria própria

Tabela 4. Questões relacionadas com eficácia do aplicativo Avazum.

As orientações no aplicativo sobre zumbido foram relevantes/interessantes para sua realidade? O encaminhamento para seguimento do atendimento com profissionais foi direcionado e de fácil acesso?
Frequência Percentual Frequência Percentual
Sim 47 97,9 20 41,7
Em parte 1 2,1 26 54,2
Não 0 0 2 4,2
Total 48 100 48 100
Open in a new tab

Fonte: Autoria própria

Eficiência

No que diz respeito à eficiência do aplicativo, foi possível observar que as avaliações foram suficientes para os objetivos chaves do app, além das informações sobre as telas serem apresentadas com clareza, consequentemente, apresentando conforto ao navegar no Avazum. Na Tabela 5 as informações podem ser visualizadas com mais minuciosidade.

Tabela 5. Questões relacionadas à eficiência do aplicativo Avazum.

Os enunciados são suficientes para realização das tarefas propostas no aplicativo? As informações de uso são claras e possibilitam a passagem de fases no aplicativo? Você sentiu algum desconforto na utilização do aplicativo?
Frequência Percentual Frequência Percentual Frequência Percentual
Sim 45 93,8 46 95,8 8 16,7
Em parte 3 6,3 2 4,2 1 2,1
Não 0 0 0 0 39 81,3
Total 48 100 48 100 48 100
Open in a new tab

Dessa forma, após a realização da análise realizada do escore do questionário SUS, a média encontrada é condizente com uma média de score satisfatória, o que implica dizer que o aplicativo não apresenta graves problemas de usabilidade, além de um bom percentual de usuários promotores, ou seja, deram notas 9 e 10 para satisfação no NPS. A porcentagem geral do NPS mostrou que a satisfação dos usuários é muito boa, já em relação à efetividade, após a análise descritiva dos dados, foi possível observar que o Avazum atinge os objetivos propostos, consegue realizar avaliação do zumbido, os encaminhamentos e oferecer dicas e orientações aos usuários. Além de ser eficiente, pois apresenta uma linguagem clara e confortabilidade durante o uso. É importante mencionar que o item avaliado na eficácia referente aos encaminhamentos dos usuários, apresentou um déficit sobre a facilidade e direcionamento do acesso.

DISCUSSÃO

A usabilidade é um quesito importante para a qualidade de produtos e sistemas. Consiste em um conceito amplamente utilizado no desenvolvimento de produtos, tem como objetivo principal observar as pessoas usando um produto, a partir da interação humano, tarefa e produto. Um número crescente de empresas está reconhecendo não só a importância da usabilidade no processo de design, mas também o seu potencial para garantir vantagens no mercado. Devido a esta importância, o tema tem sido alvo de vários estudos propostos por pesquisadores e especialistas(7). O teste de usabilidade tem foco principal nas necessidades dos usuários, concentrando-se em trazer uma excelente experiência para os mesmos. Dessa forma, fica evidente que o foco fundamental da usabilidade continua sendo a facilidade de uso quando interage com o produto.

Os testes de usabilidade são realizados com auxílio de ferramentas e questionários para verificar a efetividade, eficiência e satisfação com o produto testado. Segundo a ISO9241:11 (1998), a efetividade normalmente é avaliada pela quantidade de etapas que o usuário conseguiu completar com sucesso, a eficiência tem foco no tempo gasto para cumprir os objetivos, já a satisfação é avaliada por meio de protocolos. A satisfação dos usuários tem relação direta com os níveis de conforto ao usar o produto, como também o quanto gostou da utilização da ferramenta em questão(8). Métodos que permitem medir a satisfação dos usuários por meio de questionários contribuem para uma avaliação ampla para vários tipos de produtos e sistemas(8).

A usabilidade é ferramenta chave para o desenvolvimento de produtos de inovação tecnológica em saúde, uma etapa que deve ser realizada com muita atenção e direcionada para usuários reais. Em um estudo direcionado para verificar a metodologia dos testes de usabilidade nos aplicativos em saúde, mostrou que 75,9% foram testados em usuários reais, como pacientes e profissionais e apenas 6% testados com profissionais especializados. Além de evidenciar que a maior parte dos testes foram realizados com questionários de forma quantitativa e qualitativa(9).

O escore do questionário SUS varia de 0 a 100, não há detalhes no estudo de validação do questionário, sobre o que cada escore pode representar em relação à usabilidade de um produto. Porém, o estudo de Zorzal (2009) evidencia que um score adequado varia de 70 a 100, abaixo disso o produto pode apresentar problemas sérios de usabilidade, sendo assim, a média do escore a partir de 70 é satisfatória. Mostrando assim, que o Avazum não apresentou grandes problemas de usabilidade.

Outro quesito analisado foi à satisfação a partir da Net promoter score- NPS, muito utilizado para medir a satisfação dos clientes sobre produtos, serviços, atendimentos e dentre outros. Quando a porcentagem dos clientes/usuários promotores é maior que os detratores, o produto tem mais chance de ser indicado pelas pessoas que o utilizaram, já os neutros ou passivos, não estão insatisfeitos, mas provavelmente não indicarão para outras pessoas. Um score total a partir de 50% no NPS mostra que tiveram uma satisfação muito boa com o produto utilizado, mas abaixo de 49% não houve uma satisfação boa(10).

Para obter uma usabilidade alta de um aplicativo, é necessário que haja níveis de efetividade e eficiência adequados para o que é proposto. Características como boa acessibilidade dos menus e funções comuns nas telas, fontes e tamanho que favorecem a leitura mesmo para aquele usuário com dificuldade, tarefas simples de serem executadas, deixando claro o próximo passo, são importantes na avaliação da eficiência. Sendo assim, um aplicativo com linguagem clara, enunciados suficientes para realização das tarefas e informações claras para passagem de telas, é eficiente para as funções propostas(11).

Um produto ou serviço eficaz é aquele que consegue cumprir com os objetivos propostos, atende as necessidades reais dos usuários. Com relação a aplicativos móveis, é de extrema importância que o produto final consiga atingir as atividades propostas, levando em consideração se as funções foram suficientes. Ao realizar um teste de usabilidade, deve analisar a eficácia levando em consideração cada item apresentado, observando a presença de funções que não supriu as necessidades dos usuários(12).

Foram avaliados 66 aplicativos disponíveis para pessoas com diabetes, utilizando a escala de likert de 5 pontos. Como resultado obteve-se a média de respostas entre 3 e 4, indicando que os aplicativos avaliados tiveram uma usabilidade moderada a boa, principalmente os que tinham grande facilidade de uso e linguagem clara(13).

Como limitação do estudo, é importante mencionar que o Avazum ainda não está disponível para sistema iOS, sendo assim, não foi possível realizar o teste de usabilidade em pacientes que utilizam esse sistema para celular. Os próximos passos serão a expansão para o sistema iOS, tradução e adaptação para outros idiomas, como também a realização de novos testes para as atualizações feitas.

CONCLUSÃO

Dessa forma, foi possível observar que os usuários demonstraram compreender todas as tarefas e conseguiram descrever o zumbido utilizando o aplicativo, evidenciando assim, que o Avazum mostrou efetivo para os objetivos propostos. Como também, as funções do aplicativo estão bem integradas, dispostas com clareza e com confortabilidade de uso, mostrando-se eficiente ao realizar as funções do app, além de bom índice de satisfação dos usuários ao utilizar o Avazum. Sendo um aplicativo promissor para auxiliar na avaliação do zumbido, encaminhamentos dos usuários e promover saúde através das orientações.

Anexo A. Questionário Usabilidade

Satisfação

1.1 System Usability Scale-SUS (BROOKE, 1996)

Sobre sua satisfação em relação ao aplicativo, responda:

1 Discordo totalmente

2 Discordo

3 Neutro

4 Concordo

5. Concordo totalmente

1. Eu gostaria de usar este aplicativo com frequência

2. Achei o aplicativo desnecessariamente complicado

3. Achei o aplicativo fácil de usar

4. Achei que precisaria de apoio de uma pessoa mais especializada para ser capaz de usar este aplicativo

5. Achei que as diversas funções do aplicativo estão bem integradas

6. Achei que havia muita inconsistência neste aplicativo

7. imagino que a maioria das pessoas iria aprender a usar este aplicativo muito rapidamente

8. Eu me senti muito confiante usando o aplicativo

9. Eu precisaria aprender uma série de coisas antes que eu pudesse utilizar este aplicativo

1.2 Net Promoter Score

O quanto você recomendaria este aplicativo para alguém?

() 0 ()1 ()2 ()3 ()4 ()5 () 6 ()7 ()8 ()9 ()10

Eficácia de uso

2.1 Após o uso do aplicativo, você compreendeu as tarefas e orientações apresentadas pelo aplicativo? A linguagem é clara?

[ ] Sim, compreendi todas

[ ] Sim, compreendi apenas algumas

[ ] Não compreendi

No caso de resposta para as duas últimas alternativas, defina o grau de severidade do problema:

0 - sem importância

1 - Problema cosmético/aparência

2 - Problema simples

3 - Problema grave

4 - Problema Catastrófico

Qual sugestão de correção?

2.2 Você conseguiu descrever o zumbido que sente respondendo às questões apresentadas no aplicativo?

[ ] Sim

[ ] Em parte

[ ] Não

No caso de resposta para as duas últimas alternativas, defina o grau de severidade do problema:

0 - sem importância

1 - Problema cosmético/aparência

2 - Problema simples

3 - Problema grave

4 - Problema Catastrófico

Qual sugestão de correção?

2.3 As orientações no aplicativo sobre zumbido foram relevantes/interessantes para sua realidade?

[ ] Sim

[ ] Em parte

[ ] Não

No caso de resposta para as duas últimas alternativas, defina o grau de severidade do problema:

0 - sem importância

1 - Problema cosmético/aparência

2 - Problema simples

3 - Problema grave

4 - Problema Catastrófico

Qual sugestão de correção?

2.4 O encaminhamento para seguimento do atendimento com profissionais foi direcionado e de fácil acesso

[ ] Sim

[ ] Em parte

[ ] Não

No caso de resposta para as duas últimas alternativas, defina o grau de severidade do problema:

0 - sem importância

1 - Problema cosmético/aparência

2 - Problema simples

3 - Problema grave

4 - Problema Catastrófico

Qual sugestão de correção?

Eficiência de uso

3.1 Visibilidade dos elementos do aplicativo

A organização visual das imagens está adequada

[ ] Sim

[ ] Em parte

[ ] Não

No caso de resposta para as duas últimas alternativas, defina o grau de severidade do problema:

0 - sem importância

1 - Problema cosmético/aparência

2 - Problema simples

3 - Problema grave

4 - Problema Catastrófico

Qual sugestão de correção?

O tamanho das fontes utilizadas são legíveis são adequadas e legíveis

[ ] Sim

[ ] Em parte

[ ] Não

No caso de resposta para as duas últimas alternativas, defina o grau de severidade do problema:

0 - sem importância

1 - Problema cosmético/aparência

2 - Problema simples

3 - Problema grave

4 - Problema Catastrófico

Qual sugestão de correção?

3.2 Utilização da linguagem

Os enunciados são suficientes para realização das tarefas propostas no aplicativo

[ ] Sim

[ ] Em parte

[ ] Não

No caso de resposta para as duas últimas alternativas, defina o grau de severidade do problema:

0 - sem importância

1 - Problema cosmético/aparência

2 - Problema simples

3 - Problema grave

4 - Problema Catastrófico

Qual sugestão de correção?

As informações de uso são claras e possibilitam a passagem de fases no aplicativo

[ ] Sim

[ ] Em parte

[ ] Não

No caso de resposta para as duas últimas alternativas, defina o grau de severidade do problema:

0 - sem importância

1 - Problema cosmético/aparência

2 - Problema simples

3 - Problema grave

4 - Problema Catastrófico

Qual sugestão de correção?

3.4 Conforto

Você sentiu algum desconforto na utilização do aplicativo

[ ] Sim

[ ] Em parte

[ ] Não

No caso de resposta para as duas últimas alternativas, defina o grau de severidade do problema:

0 - sem importância

1 - Problema cosmético/aparência

2 - Problema simples

3 - Problema grave

4 - Problema Catastrófico

Qual sugestão de correção?

Footnotes

Trabalho realizado na Universidade Federal da Paraíba - UFPB - João Pessoa (PB), Brasil.

Fonte de financiamento: nada a declarar.

Articles from CoDAS are provided here courtesy of Sociedade Brasileira de Fonoaudiologia

RESOURCES