Skip to main content
NCBI home page
CoDAS logoLink to CoDAS
. 2023 Jun 2;35(3):e20210263. doi: 10.1590/2317-1782/20232021263en
View full-text in Portuguese

Cut-off point, sensitivity and specificity for screening the reading fluency in children

Hugo Cogo-Moreira 1, Giovanna Lima Molinari 2, Carolina Alves Ferreira de Carvalho 2, Adriana de Souza Batista Kida 2, Patrícia Silva Lúcio 3, Clara Regina Brandão de Avila 2,✉
PMCID: PMC10266799  PMID: 37283398

ABSTRACT

Purpose

to establish cut-off point for reading speed and accuracy, to obtain minimum values for comprehending texts, and allow classifying students from 2nd to 5th grade of elementary school according to good or poor reading performance.

Methods

147 assessment protocols for oral reading and text comprehension of students from 3rd to 5th grade of Elementary School with and without reading difficulties were analyzed. The oral text reading rate and accuracy values were analyzed. ROC curves were constructed, and sensitivity and specificity calculated for each reading fluency parameter, and each school grade.

Results

Sensitivity and specificity for measures of rate and accuracy in text reading were calculated for the 3rd, 4th, and 5th grades. Rate and precision under the ROC curve did not differ statistically. The values for the 2nd grade were mathematically estimated.

Conclusion

The cutoff values expected for students from 2nd to 3rd grade were identified, with recommendations for using the oral text reading rate for reading comprehension screening procedures

Keywords: Reading, Statistics, Screening, Sensitivity and Specificity, Primary Education

INTRODUCTION

During the learning of reading, the decoding conditions tend to change constantly, until the individual is able to read with the same speed and intonation traits that typifies their prosodic features of speech production during spontaneous oral speech, thus demonstrating that they achieved the automatic recognition of written words(1,2), one of the components of reading fluency involved in literal comprehension(3). Undoubtedly, the auditory language comprehension characteristics and some of its components, such as vocabulary, world knowledge, inference making ability and comprehension monitoring can be predictors of reading comprehension difficulties(2).

Low fluency rates (correct number of words per minute) may interfere with reading comprehension(4). Studies have indicated the relevance of measuring accuracy and considering the minimum proficiency levels as a condition to ensure literal comprehension and, therefore, to be able to appropriately evaluate reading skills(2).

Fluent and accurate reading along with literal comprehension can be evaluated clinically as well as in the learning environment(5). Furthermore, there is a decoding threshold established by investigative research, below which students could fail to understand written text(6).

Similarly, researchers have also investigated to what extent increasing reading fluency rates can improve literal comprehension(2). In this study, the author sought to identify the minimum values for speed and accuracy of oral reading rates required to allow the comprehension of the text, in the presence or absence of a reading disorder. The study showed an increase in reading rate values related to educational level, indicating improvement in literal comprehension only in the ranges from 35 correct number of words per minute (wpm) for students with reading disorders, to 75 wpm for neurotypical 2nd graders. For the 4th graders, the scores ranged from 40 wpm to 90 wpm, for the presence and absence of the disorder, respectively. In other words, reading with accuracy rates higher than these did not prove to be of any advantage for literal comprehension.

Brazilian researchers have published reference values for the average reading speed and accuracy of local schoolchildren, using different types of assessment - reading isolated words or text(1,7) and procedures of the evaluation process(8). However, none of these studies considered the minimum fluency rate needed for comprehension to occur, based on the above-mentioned rates.

In the context of school learning, comprehension monitoring strategies should be quickly implemented. They can be used to determine which students are at risk of presenting academic performance deficits. Such insufficiencies may appear either in the earliest stages of literacy development or in later phases where the literal comprehension demands tend to build up with each school year due to the increasing complexity of the texts(1).In a learning environment, it can be an effective strategy for continuous monitoring of the student’s reading progress, allowing the identification of the condition based on two approaches: fail, if the student does not reach the cut-off value for average fluency standards expectations; and pass, if they perform equal to or higher than the cut-off for reading speed proficiency.

The present study was designed and executed to meet the needs of screening elementary school students for reading fluency to assess reading comprehension. To ensure that the decoding and fluency conditions are sufficient for the comprehension of the text, we conducted a retrospective research to investigate the reading rates and accuracy values of students with and without complaints of low reading proficiency, who participated in two other studies(9,10).

This retrospective research aimed to establish a cut-off for reading rate and accuracy of students, from the 2nd to 5th grade of elementary school, aiming to classify readers according to the minimum reading fluency values required for comprehension, as well as to verify which of the two fluency parameters, whether rate or accuracy, is best suited to determine said reading condition. Hence, we proposed to establish cut-off values using screening tests for clinicians and researchers interested in studying the relationship between fluency and literal comprehension.

METHODS

Retrospective exploratory study, developed from the data analysis of protocols standardized in previous research (Approved by the Research Ethics Committee of the Federal University of São Paulo, CEP-Unifesp/Number: 0839/06, 1490/08).

Case study sample

We analyzed 147 reading assessment protocols of students enrolled in the 3rd up to 5th grades of public and private elementary schools in the city of São Paulo (SP). Notwithstanding the research objectives, the children were selected by their teachers. According to them, the students of the sample group had no complaints or indicators of motor or sensory deficits related to auditory or visual processing disorders (uncorrected); neurological, behavioral, or cognitive deficits or disorders; oral communication impairment; or indication of grade retention in school records. Then, the teachers classified the students based on their reading performance, thus creating two distinct groups: G1-school children with good reading performance (n=96); G2-school children with difficulties in reading fluency and/or text interpretation, classified as poor readers (n=51). This classification was used herein to conduct a dichotomous distribution of the children into two categories for further analysis with the ROC curve.

Children were also distributed by school year: 30 were enrolled in the 3rd grade (mean age=8.42; SD=0.05); 59 in the 4th grade (mean age=9.24; SD=0.22); and 58 in the 5th grade (mean age = 10.21; SD=0.07). Of the 147 children, 66.7% were girls. The parents or guardians signed the Informed Consent Form for the participation of their children in the research, providing the data required for the present study.

The available data referred only to these three school years. Consequently, the cut-off value to differentiate good and poor readers for the 2nd grade was statistically predicted. Although the evaluations were conducted over the course of 05 years, the procedures and protocols were standardized and applied on the second semester to all students.

Data collection procedure

The oral reading of the text allowed the collection of data on reading rate and accuracy. A text was selected for each school year from the books used in Portuguese lessons (see Supplementary Material). The students were instructed to read the text aloud from the title. The individual readings were recorded for further analysis and calculation of two continuous measurements, namely, the rate (number of words read per minute, i.e., the total amount of words in the text divided by the reading time) and the accuracy (number of correctly read words per minute).

The correctness criterion was the automatic recognition of words, which implies that any reading repair or fix-up strategy was considered an error, regardless of whether to adjust the decoding or understanding of the text. For each assessment, comprehension was evaluated by reading 06 multiple-choice questions (see Supplementary Material) and by analyzing the oral retelling of the story, according to the number of ideas summarized by them(9,10). The total score possibilities varied by text read: 27, 25 and 41 ideas for the texts provided for the 3rd, 4th, and 5th grades, respectively. The points scored in the retelling task were added to the scores of the answers to the questions correlated to the text.

Statistical analysis procedure

To discriminate between good and poor understanders, the teachers were asked a simple question, which sought to infer whether the child in question had reading and/or literal comprehension difficulties or not: “Based on student X's performance in reading fluency and literal comprehension, would you classify them as a good or poor reader?”. From the categorization made by the teachers, ranking the student in one of these two possibilities, that is, good or poor readers/comprehenders, ROC (Receiver Operating Characteristics curve) curves were drafted and the areas below them were calculated. Using the teacher as a gold standard is a common procedure and it is usually done in research in various areas of child development studies(11,12).

This method was used for the two outcome measures of the study: rate and accuracy. The continuous measurements that showed the best results would then be used to estimate the probable cut-off value for children in the 2nd year of schooling. If the measures did not differ, the most easily collected (i.e., the rate) would be used. The estimated cut-off for the 2nd graders was calculated with the progression of the cut-off for the children of the other school years via the DataFit 9 software (https://datafit.software.informer.com/9.0/). This way, the three cut-off values obtained, one for each school year, were plotted and, from them, different possibilities of growth trajectories were assessed against the addition of a new school year (i.e., the 2nd grade). Knowing that the distance between the four grades regarding the x-axis is equidistant, it was possible to estimate, for each predictive model evaluated, possibilities for the value referring to the y-axis (rate) for the 2nd grade. Non-linear trajectories were preferred, given the conformity of the three initial points.

RESULTS

Table 1 shows the area under the ROC curve pertaining to rate and accuracy, their standard deviations and statistical significance, based on a non-parametric standard error assumption for the three studied years. From these areas, it was found that both measures presented values greater than 0.80. There is a non-linear progression of the cut-off values in relation to the child's development.

Table 1. Area under the ROC Curve for the three school years, cut-off values, sensitivity, and specificity for reading rate and accuracy measures.

Year Measures Area under the ROC Curve S.D. Cut-off Sensitivity Specificity
3rd Rate 0.970 0.027 65.670 0.900 0.100
Accuracy 0.970 0.029 58.900 0.900 0.050
4th Rate 0.866 0.055 70.930 0.857 0.132
Accuracy 0.888 0.049 63.770 0.905 0.132
5th Rate 0.849 0.051 91.375 0.900 0.289
Accuracy 0.836 0.052 81.575 0.850 0.263
Open in a new tab

Caption: For all variables, p < 0.001. S.D; = standard deviation; 3rd grade: Camargo(13); 4th grade: Lobato(14); 5th grade: Vasconcelos(15).

Statistically, the values of the area under the ROC curve did not differ from rate or accuracy (i.e., they produced similar areas under the curve for all years). Due to the efficiency of the rate data collection, this measure was used as estimation. Therefore, the cut-off estimation for the 2nd graders was calculated by four nonlinear functions: exponential, first order polynomial, modified logarithm, and modified exponential(16). Since the results obtained with the ROC curve for each of the three years (the actual data), did not fit perfectly for all the non-linear functions tested, approximations were used. Originally, the values obtained for the 3rd, 4th and 5th graders are described in Table 1; however, Figure 1 shows that the original values are approximated to fit each of the four non-linear models used to estimate the value of the 2nd grade rate. Figure 1 depicts these approximations, and, for every real data, there is a function and an estimation of the specific cut-off value for the 2nd graders. An average of the three estimated cut-off values for the 2nd graders was plotted and this average refers to the final cut-off adopted for that year (i.e. (53.08 + 50.40 + 43.35 + 41.24)/4= 47.01).

Figure 1. Cut-off values per year from the four estimation techniques.

Figure 1

Open in a new tab

DISCUSSION

Screening procedures are efficient, quick to apply and are used for the necessary monitoring of reading development during school years(1,5,8). The monitoring of reading skills can be performed not only to know the reading level of the student, but also for the early identification of reading difficulties to provide information for the necessary intervention and educational or clinical support(1). This approach is usually accompanied by a Response to Intervention program along with support services for monitoring the student.

Knowing threshold values for reading fluency parameters can be useful to compose sample groups of students with the purpose of researching reading comprehension, since both competencies show association between different school years(3,4).The present study calculated and presented cut-off values for tracking by minimum rate or accuracy related to literal comprehension for the initial years of elementary school(2,6). Considering that there were no apparent differences in the area under the ROC curve between reading rate and accuracy, it was decided to use a measure that can be applied easily and without further calculation, namely, the rate. Ergo, the wpm values of 65, 70 and 91 were considered minimum values for reading fluency as a condition to ensure literal comprehension in the 3rd, 4th, and 5th grades of elementary school, respectively. The texts used (see Supplementary Material) were a useful, quick, and easy tool to track speed associated with comprehension.

The values obtained for the rate and accuracy showed a decrease in specificity (i.e., probability of detection of true positive) from the 3rd to 5th grades (Table 1). It is possible that teachers can become less sensitive to the comprehension difficulties of older children. For example, a study with Brazilian schoolchildren(17) found seven cases of poor reading of real words and 12 cases of decoding among 10-year-old children who were considered competent by the teachers. It is also possible that in this same group, on account of having a more developed reading fluency, other factors, such as vocabulary and monitoring capacity, may have interfered more with the literal comprehension.

One of the limitations of this study is that, although they showed significant differences in their performance, the sample groups were formed according to the teachers' opinion regarding the presence of generic reading difficulties or specific reading interpretation and literal comprehension(7,10). The teacher’s reports and indications are seen as an important primary source of information for the other members of the educational team(12,16) and, consequently, they play a fundamental role in monitoring the different stages of learning. However, other studies should be conducted with clinical groups with a specific learning disorder diagnosis, as to improve the information provided by the area under the ROC curve, especially for the final years in which the sensitivity and specificity values were less adequate, although still satisfactory (Table 1).

These values are expected to be similar, in case of any future research using a similar procedure, when using other narrative texts appropriate to the school year and with the same linguistic characteristics as those applied in this study. That is, research aiming to investigate if other texts would produce rates similar to the cut-off values obtained herein should still be carried out. It is known that texts may vary according to the type (narrative or expository), frequency of words, background knowledge necessary for understanding, and other aspects that tend to interfere with text complexity. Therefore, it is strongly recommended to use the same narrative texts applied in this study to identify the minimum fluency rate of correctly read words per minute to ensure literal comprehension. This recommendation also intends to reduce the potential margin of error.

Another important limitation is the fact that the cut-off values for younger children have been estimated (Figure 1). Nevertheless, it is necessary to recognize that estimated cut-off can produce reliable results in situations where measurement errors are acceptable, akin to the present study case(18).

Still, it is emphasized that this estimated value is most suitable to scientific research, rather than to clinical or educational screening procedures. This limitation was overcome, to some extent, by estimating the cut-off values with the statistics used in the present study. Thus, clinicians and researchers can use an appropriate text for 2nd graders with the performance expectations for the adopted cut-off.

Researchers and clinicians will be free to benefit from the data for a more efficient assessment and future research, with a large enough sample of children in the studied age group providing cross-validation of the measures presented herein. Another possibility is to investigate whether the provided cut-off values are valid to classify school children as good or poor understanders, with independent samples as well, through cross-validation.

CONCLUSION

Cut-off values were established for oral reading rate and accuracy for students from the 2nd to 5th grade, with the use of reading rate values for each school year being recommended for literacy screening procedures related to literal comprehension.

Supplementary Material

Supplementary material accompanies this paper.

Texts selected for the research, extracted from books used in Portuguese school lessons, and correlated questions
Click here for additional data file. (221.4KB, pdf)

This material is available as part of the online article from: https://doi.org/10.1590/2317-1782/20232021263en

Funding Statement

Fonte de financiamento: Fundação de Amparo à Pesquisa do Estado de São Paulo - FAPESP (06/54714-0, 2008/57186-0).

Footnotes

Study conducted at Departamento de Fonoaudiologia, Escola Paulista de Medicina - EPM, Universidade Federal de São Paulo - UNIFESP - São Paulo (SP), Brasil.

Financial support: Fundação de Amparo à Pesquisa do Estado de São Paulo - FAPESP (06/54714-0, 2008/57186-0).

REFERENCES

  • 1.Alves LM, Santos FL, Miranda ICC, Carvalho MI, Ribeiro LG, Freire LSC, et al. Evolução da velocidade de leitura no Ensino Fundamental I e II. CoDAS. 2021;33(5):e20200168. doi: 10.1590/2317-1782/20202020168. [DOI] [PubMed] [Google Scholar]
  • 2.O’Connor RE. Reading fluency and students with reading disabilities: how fast is fast enough to promote reading comprehension? J Learn Disabil. 2018;51(2):124–136. doi: 10.1177/0022219417691835. [DOI] [PubMed] [Google Scholar]
  • 3.Li L, Doyle A. Reading fluency and the role of its dimensions: conceptualizations and mechanisms. CJNSE. 2021;12(1):78–84. [Google Scholar]
  • 4.Martins MA, Capellini SA. Relação entre fluência de leitura oral e compreensão de leitura. CoDAS. 2019;31(1):e20170244. doi: 10.1590/2317-1782/20182018244. [DOI] [PubMed] [Google Scholar]
  • 5.Gentilini LKS, Andrade MEP, Basso FP, Salles JF, Martins-Reis VO, Alves LM. Desenvolvimento de instrumento para avaliação coletiva da fluência e compreensão de leitura textual em escolares do ensino fundamental II. CoDAS. 2020;32(2):e20190015. doi: 10.1590/2317-1782/20192019015. [DOI] [PubMed] [Google Scholar]
  • 6.Wang Z, Sabatini J, O’Reilly T, Weeks J. Decoding and reading comprehension: a test of the decoding threshold hypothesis. J Educ Psychol. 2019;111(3):387–401. doi: 10.1037/edu0000302. [DOI] [Google Scholar]
  • 7.Kawano CE, Kida ASB, Carvalho CAF, Avila CRB. Parâmetros de fluência e tipos de erros na leitura de escolares com indicação de dificuldades para ler e escrever. Ver Soc Bras Fonoaudiol. 2011;16(1):9–18. doi: 10.1590/S1516-80342011000100004. [DOI] [Google Scholar]
  • 8.Basso FP, Piccolo LR, Miná CS, de Salles JF. Instrumento de Avaliação da Fluência de Leitura Textual: da decodificação à compreensão de leitura. Let Hoje. 2019;54(2):146–153. doi: 10.15448/1984-7726.2019.2.32519. [DOI] [Google Scholar]
  • 9.Carvalho CAF. Relação entre a função pragmática da linguagem e compreensão de textos. São Paulo: Universidade Federal de São Paulo; 2008. dissertação. [Google Scholar]
  • 10.Nascimento TA, Carvalho CAF, Kida ASB, Avila CRB. Fluência e compreensão leitora em escolares com dificuldade de leitura. J Soc Bras Fonoaudiol. 2011;23(4):335–343. doi: 10.1590/S2179-64912011000400008. [DOI] [PubMed] [Google Scholar]
  • 11.Lúcio PS, Pinheiro AMV. Escala da avaliação da competência da leitura pelo professor (EACOL)-evidências de validade de critério. Temas Psicol. 2013;21(2):499–511. doi: 10.9788/TP2013.2-15. [DOI] [Google Scholar]
  • 12.Baudson TG, Fischbach A, Preckel F. Teacher judgments as measures of children’s cognitive ability: a multilevel analysis. Learn Individ Differ. 2016;52:148–156. doi: 10.1016/j.lindif.2014.06.001. [DOI] [Google Scholar]
  • 13.Camargo M. O veterinário maluco. 16. São Paulo: Ática; 1991. (Série Lagarta Pintada). [Google Scholar]
  • 14.Lobato M. A coruja e a águia. 2013. [citado em 2021 Oct 15]. Internet. Disponível em: https://contobrasileiro.com.br/a-coruja-e-a-aguia-fabula-de-monteiro-lobato/
  • 15.Vasconcelos JM. O meu pé de laranja lima. 2. São Paulo: Editora Melhoramentos; 1975. [Google Scholar]
  • 16.Christ TJ, Silberglitt B, Yeo S, Cormier D. Curriculum-based measurement of oral reading: an evaluation of growth rates and seasonal effects among students served in general and special education. School Psych Rev. 2010;39(3):447–462. doi: 10.1080/02796015.2010.12087765. [DOI] [Google Scholar]
  • 17.Pinheiro ÂMV. Heterogeneidade entre leitores julgados competentes pelas professoras. Psicol Reflex Crit. 2001;14(3):537–551. doi: 10.1590/S0102-79722001000300009. [DOI] [Google Scholar]
  • 18.Spanos A. Curve fitting, the reliability of inductive inference, and the error-statistical approach. Philos Sci. 2007;74(5):1046–1066. doi: 10.1086/525643. [DOI] [Google Scholar]
Codas. 2023 Jun 2;35(3):e20210263. [Article in Portuguese] doi: 10.1590/2317-1782/20232021263pt

Pontos de corte, sensibilidade e especificidade para rastreamento da fluência leitora em crianças

Hugo Cogo-Moreira 1, Giovanna Lima Molinari 2, Carolina Alves Ferreira de Carvalho 2, Adriana de Souza Batista Kida 2, Patrícia Silva Lúcio 3, Clara Regina Brandão de Avila 2,✉

RESUMO

Objetivo

estabelecer pontos de corte para valores de velocidade e acurácia de leitura, a fim de obter valores mínimos para compreensão de textos, e permitir classificar alunos de 2º a 5º ano do Ensino Fundamental, de acordo com bom ou pobre desempenho em leitura.

Método

foram analisados ​​147 protocolos de avaliação de leitura oral e compreensão textual de escolares de 3º a 5º ano com e sem dificuldades de leitura. A taxa de leitura oral de texto e os valores de acurácia foram analisados. Curvas ROC foram construídas e a sensibilidade e a especificidade, calculadas para cada parâmetro de fluência de leitura por ano escolar.

Resultados

A sensibilidade e a especificidade para medidas de taxa e acurácia na leitura de texto foram calculadas para o 3º, 4º e 5º anos. A taxa e a precisão sob a curva ROC não diferiram estatisticamente. Os valores do 2º ano foram estimados matematicamente.

Conclusão

Foram identificados os valores de corte esperados para escolares do 2º ao 5º ano, com recomendações de utilização da taxa de leitura de texto oral para procedimentos de rastreamento da compreensão leitora.

Descritores: Leitura, Rastreamento, Estatística, Sensibilidade e Especificidade, Ensino Fundamental

INTRODUÇÃO

Durante o aprendizado da leitura, as condições de decodificação modificam-se constantemente, até que o leitor demonstre ao ler, a mesma velocidade e entonação que imprime em sua produção de fala durante o discurso oral espontâneo, mostrando, assim, que alcançou o reconhecimento automático das palavras escritas(1,2), um dos componentes da fluência de leitura envolvidos na compreensão do texto lido(3). Indubitavelmente, características da compreensão linguística auditiva e de alguns de seus componentes como o vocabulário, o conhecimento de mundo, a capacidade de elaborar inferências e a de monitorar o próprio entendimento, podem predizer dificuldades de compreensão de leitura(2).

Baixas taxas de acurácia de leitura (número de palavras lidas corretamente por minuto) podem interferir na compreensão do texto(4). Algumas pesquisas têm demonstrado a pertinência de buscar e considerar valores mínimos de acurácia como condição para garantir que a compreensão leitora possa acontecer e, portanto, ser avaliada de forma apropriada(2).

A leitura fluente e acurada e a compreensão do texto lido podem ser avaliadas clinicamente e no ambiente escolar(5). Pesquisadores investigaram um valor limite de decodificação abaixo do qual estariam estudantes que podem falhar em compreender textos(6).

Com propósito semelhante, investigou-se até que ponto aumentar a taxa de leitura pode melhorar a compreensão do texto lido(2). Nesse estudo, a autora procurou identificar quais taxas de leitura oral poderiam ser o valor mínimo de velocidade e precisão para permitir compreensão do texto, na presença ou ausência de transtorno de leitura. A pesquisa mostrou aumento dos valores de taxa de leitura em função da escolaridade, com melhora da compreensão leitora apenas nas faixas entre 35 palavras lidas corretamente por minuto (p.c.p.m.) para o transtorno de leitura e 75 p.c.p.m. para escolares típicos no 2º ano. Para os de 4º ano, entre 40 p.c.p.m. e 90 p.c.p.m., respectivamente à presença, ou não, do transtorno. Ou seja, ler com taxas superiores a essas não se revelou nenhuma vantagem para a compreensão de leitura.

Estudos nacionais publicaram valores de referência para médias de velocidade e acurácia de leitura de escolares brasileiros, nas suas diferentes formas de avaliação - com leitura de palavras isoladas ou de texto(1,7) e procedimentos seguidos nessas avaliações(8). Entretanto, nenhum desses estudos considerou o desempenho mínimo em fluência para o alcance da compreensão, a partir das taxas mencionadas.

No âmbito da aprendizagem escolar, procedimentos de rastreamento das condições de leitura devem ser de rápida aplicação. São utilizados para a identificação de escolares em risco de apresentarem déficits de desempenho acadêmico. Tais déficits podem aparecer desde etapas mais remotas do desenvolvimento relacionadas à época da alfabetização até fases ulteriores de demandas de compreensão leitora de textos cujas complexidades aumentam a cada ano escolar(1). Em ambiente educacional, pode ser um procedimento eficaz de monitoramento continuado do progresso da leitura, possibilitando a identificação da condição através de duas categorias: falha, se não atingir o ponto de corte; e passa, caso evidencie desempenho igual ou superior ao ponto de corte.

Este estudo foi elaborado e executado para atender às necessidades de triar estudantes do Ensino Fundamental I pela fluência de leitura com vistas à avaliação da compreensão leitora. Para garantir condições de decodificação e fluência, suficientes para a compreensão do texto investigaram-se, retrospectivamente, os valores de taxa e acurácia de leitura textual de escolares com e sem queixa de problemas de leitura, que participaram de outros dois estudos(9,10) .

O objetivo desta pesquisa retrospectiva foi estabelecer pontos de corte de taxa e acurácia na leitura de escolares, do 2º ao 5º ano do Ensino Fundamental, a fim de separar leitores por valores mínimos de fluência de leitura para a compreensão e verificar qual dos dois parâmetros de fluência, se taxa ou acurácia, melhor determina essa condição de leitura. Desse modo, propôs-se estabelecer pontos de corte por meio de uso de tarefas de rastreamento para o clínico e o pesquisador interessados em estudar a relação entre fluência e compreensão de leitura.

MÉTODO

Estudo retrospectivo, de caráter exploratório, realizado a partir da análise de dados de protocolos constituídos em pesquisas anteriores (CEP-Unifesp/Aprovações: 0839/06, 1490/08).

Amostra

Analisaram-se 147 protocolos de avaliação da leitura de escolares matriculados do 3º ao 5º ano do Ensino Fundamental de escolas públicas e particulares do município de São Paulo (SP). Independentemente dos objetivos das pesquisas, as crianças foram selecionadas por seus professores. Segundo eles, estavam ausentes queixas ou indicadores de: déficits motores ou sensoriais auditivos ou visuais (não corrigidos); déficits ou distúrbios neurológicos, comportamentais ou cognitivos; alterações da comunicação oral; indicação de retenção no histórico escolar. A seguir, os professores separaram os escolares segundo julgaram seus desempenhos em leitura e, assim, definiram-se dois grupos distintos: G1-escolares com bom desempenho em leitura (n=96); G2-escolares com dificuldades de fluência leitora e/ou de interpretação de texto, classificados como maus leitores (n=51). Essa classificação foi utilizada, no presente estudo, para distribuir as crianças dicotomicamente em duas categorias para posterior análise nas curvas ROC.

As crianças também foram distribuídas por ano escolar: 30 eram do 3º ano (média de idade=8,42; DP=0,05); 59 do 4º ano (média de idade=9,24; DP=0,22); e 58 do 5º ano (média de idade = 10,21; DP=0,07). Das 147 crianças, 66,7% eram meninas. Os pais ou responsáveis assinaram o Termo de Consentimento Livre e Esclarecido para participação de seus filhos e filhas nas pesquisas, cujos dados permitiram este estudo.

Os únicos dados disponíveis eram dos três anos escolares. Assim, o ponto de corte para diferenciar bons e maus leitores para o 2º ano foi predito estatisticamente. Embora as avaliações tenham sido realizadas ao longo de 05 anos, os procedimentos e protocolos foram idênticos e aplicados com todos os escolares no segundo semestre letivo.

Procedimento de coleta dos dados

A leitura oral de texto permitiu coletar informações sobre taxa e acurácia leitora. Um texto para cada ano escolar foi selecionado dos livros de Língua Portuguesa utilizados nas escolas (Material Suplementar). Os escolares foram instruídos a ler o texto em voz alta a partir do título. As leituras, individuais, foram gravadas para posterior análise e cálculo de duas medidas contínuas, a saber, a taxa (número de palavras lidas por minuto, i.e., total de palavras no texto dividido pelo tempo de leitura) e a acurácia (número de palavras corretas lidas por minuto).

O critério de acerto foi o de reconhecimento automático das palavras, o que implica dizer que qualquer atividade de reparo da leitura foi considerada erro, não importando se para ajuste da decodificação ou compreensão. Para cada texto, após a leitura, a compreensão foi avaliada por 06 questões de múltipla escolha (Material Suplementar) e pela análise do reconto oral da história lida, segundo o número de ideias apresentadas(9,10). A possibilidade do total de pontos variou por texto lido: 27, 25 e 41 ideias para os textos do 3o, 4o e 5o ano, respectivamente. Procedeu-se à soma da pontuação obtida na tarefa de reconto e nas respostas às questões referentes ao texto lido.

Procedimento de análise estatística

Para discriminar os bons e maus compreendedores foi feita uma pergunta simples às professoras, que buscava inferir se a criança em questão tinha ou não problemas de leitura e/ou compreensão de texto: “Com base no desempenho do aluno X em fluência de leitura e compreensão leitora, você o classificaria como bom ou mau leitor?”. A partir da categorização feita pelas professoras, em uma dessas duas possibilidades, isto é, bons ou maus leitores/compreendedores, foram construídas curvas ROC (Receiver Operating Characteristics curve) e calculadas as áreas abaixo delas. Usar o professor como gold-standard é um procedimento comum e usualmente feito em pesquisas em diversas áreas do desenvolvimento infantil(11,12).

Esse procedimento foi utilizado com as duas medidas de desfecho do estudo: taxa e acurácia. A medida contínua que demonstrasse os melhores resultados seria utilizada para estimar os prováveis pontos de corte para as crianças do 2º ano de escolarização. Caso as medidas não diferissem, a mais facilmente coletada (a saber, a taxa) seria utilizada. A estimativa dos valores de ponto de corte para o 2º ano foi feita a partir da progressão dos pontos de cortes das crianças dos demais anos escolares por meio do programa DataFit 9 (https://datafit.software.informer.com/9.0/). Assim, os três valores de ponto de corte obtidos, um para cada ano escolar, foram plotados e, a partir deles, diferentes possibilidades de trajetórias de crescimento foram testadas frente a um acréscimo de um novo ano escolar (i.e., o 2º ano). Sabendo-se que a distância entre os quatro anos no que tange o eixo x é equidistante, foi possível estimar, para cada modelo preditivo avaliado, possibilidades para o valor referente ao eixo y (taxa) para 2º ano. Deu-se preferência por trajetórias não lineares, dada a própria conformidade dos três pontos iniciais.

RESULTADOS

A Tabela 1 mostra a área abaixo da curva ROC para a taxa e a acurácia, seus erros-padrão e significância estatística, a partir de uma pressuposição não erros-padrão paramétrica, para os três anos. A partir dessas áreas, verificou-se que ambas as medidas apresentaram valores maiores que 0,80. Há uma progressão não-linear dos valores de ponto de corte em relação ao desenvolvimento da criança.

Tabela 1. Área sob a Curva ROC para os três anos escolares e valores de ponto de corte, sensibilidade e especificidade para as medidas de taxa e acurácia na leitura.

Ano Medidas Área sob a curva ROC S. E. Corte Sensibilidade 1-especificidade
3º Taxa 0,970 0,027 65,670 0,900 0,100
Acurácia 0,970 0,029 58,900 0,900 0,050
4º Taxa 0,866 0,055 70,930 0,857 0,132
Acurácia 0,888 0,049 63,770 0,905 0,132
5º Taxa 0,849 0,051 91,375 0,900 0,289
Acurácia 0,836 0,052 81,575 0,850 0,263
Open in a new tab

Legenda: Para todas as variáveis, p < 0,001; S. E. = standard erro; 3º ano: Camargo(13); 4º ano: Lobato(14); 5º ano: Vasconcelos(15).

Estatisticamente, os valores da área sob a curva ROC não diferiram para taxa ou para acurácia (i.e., produziram em todos os anos áreas, sob a curva, semelhantes). Pela facilidade de coleta da taxa, utilizou-se esta medida para a estimação. Assim, a estimação do ponto de corte do 2º ano baseou-se em quatro funções não lineares: exponencial, polinomial de primeira ordem, logaritmo modificado e exponencial modificado(16). Uma vez que os resultados obtidos na curva ROC, para cada um dos três anos (dados reais), não se encaixaram perfeitamente para cada uma das funções não-lineares testadas, conduziram-se aproximações. Originalmente, os valores obtidos para 3º, 4º e 5º ano estão descritos na Tabela 1; porém, a Figura 1, mostra que os valores originais sofrem aproximações para se adequarem em cada um dos quatro modelos não-lineares usados para estimar o valor da taxa do 2º ano. A Figura 1 mostra esses valores de aproximações e, para cada um dos dados reais, há uma função e uma estimação do ponto de corte específica para o 2º ano. Uma média dos três pontos de corte estimados para o 2º ano foi computada e essa média refere-se ao ponto de corte final adotado para esse ano (ou seja, (53,08 + 50,40 + 43,35 + 41,24)/4= 47,01.

Figura 1. Pontos de corte por ano a partir dos quatro modelos de estimação.

Figura 1

Open in a new tab

DISCUSSÃO

Procedimentos de rastreamento são de rápida aplicação e são utilizados para o necessário monitoramento do desenvolvimento da leitura durante a escolarização(1,5,8). O acompanhamento das capacidades leitoras pode ter como objetivo não somente o conhecimento do nível de leitura do escolar, como também a identificação precoce de dificuldades de leitura de forma a prover informações para a intervenção e o suporte educacional ou clínico(1). Geralmente acompanham programas de RTI e fornecem o suporte para o acompanhamento do escolar.

Conhecer valores liminares de parâmetros de fluência leitora pode ser útil para compor amostras de estudantes em pesquisas sobre a compreensão de leitura, uma vez que ambas as competências mostram associação em diferentes anos escolares(3,4). Este estudo calculou e apresentou pontos de cortes para rastreamento por taxa ou acurácia mínimas para a realização de leitura com compreensão para os anos iniciais do ensino fundamental(2,6). Por não haver diferenças aparentes na área sob a curva ROC entre a taxa e a acurácia de leitura, optou-se por usar uma medida que pode ser usada facilmente e sem cálculo, a saber, a taxa. Assim, os números 65, 70 e 91 de p.p.m. foram considerados valores mínimos de fluência leitora como condição para garantir a compreensão de leitura no 3º, 4º e 5º ano do ensino fundamental, respectivamente. Os textos utilizados (Material Suplementar) constituíram-se em ferramenta útil, breve e fácil para rastrear a velocidade com vistas à compreensão.

Os valores obtidos para a taxa e acurácia mostraram uma queda na especificidade (i.e., probabilidade de detecção de verdadeiro positivo) do 3º para o 5º ano (Tabela 1). É possível que os professores sejam menos sensíveis às dificuldades de compreensão de crianças maiores. Por exemplo, em estudo com escolares brasileiros(17) foram encontrados sete casos de leitura deficiente de palavras reais e 12 de decodificação entre crianças de 10 anos julgadas competentes pelas professoras. É possível também que nesse grupo de crianças, por terem a fluência leitora mais desenvolvida, outros fatores, como vocabulário e capacidade de monitoramento, tenham interferido mais na compreensão leitora.

Uma das limitações deste estudo é que, embora tenham mostrado diferenças significantes em seus desempenhos, os grupos experimentais foram formados por opinião dos professores sobre a presença de dificuldades genéricas de leitura ou específicas de interpretação e compreensão leitora(7,10). Relatos e indicações dos professores são vistos como importante fonte primária de informação para os demais componentes da equipe educacional(12,16) e, por isso, têm papel fundamental no acompanhamento das diferentes etapas do aprendizado. Entretanto, outros estudos devem ser conduzidos com grupos clínicos, com diagnóstico de problemas específicos de aprendizagem, para melhorar as informações trazidas pela área sob a curva ROC, principalmente nos anos finais em que os valores de sensibilidade e especificidade foram menos adequados, embora ainda satisfatórios (Tabela 1).

Espera-se que esses valores sejam parecidos, caso outros textos narrativos adequados ao ano escolar e com mesmas características linguísticas dos aplicados neste estudo, sejam utilizados em procedimento semelhante. Assim, pesquisas que possibilitem saber se outros textos produziriam taxas similares aos pontos de corte obtidos, ainda devem ser realizadas. Sabe-se que textos variam conforme o tipo (narrativo ou expositivo), frequência de palavras, nível de conhecimento necessário para o entendimento, e outros aspectos que interferem em sua complexidade. Por isso, recomenda-se fortemente, que os mesmos textos narrativos usados neste estudo sejam utilizados para a identificação do valor mínimo de palavras lidas por minuto para garantir a compreensão do texto lido. Essa recomendação visa, inclusive, à redução de possível margem de erro.

Outra limitação importante é o fato de os pontos de corte das crianças mais jovens terem sido estimados (Figura 1). Apesar disso, é necessário reconhecer que valores estimados de pontos de corte produzem resultados fidedignos em situações em que os erros de medida são aceitáveis, como o caso dos obtidos na presente pesquisa(18).

Ainda assim, ressalta-se que o valor aqui estimado é mais apropriado e mais bem destinado a pesquisas científicas, que a procedimentos de rastreamento clínico ou educacional. Essa limitação foi superada, em certa medida, pela estimação dos pontos de corte por meio da estatística aqui utilizada. Dessa forma, os clínicos e pesquisadores podem utilizar um texto apropriado para crianças de 2º ano com a expectativa de desempenho para os pontos de corte adotados.

Pesquisadores e clínicos poderão se beneficiar desses dados para avaliação rápida e em futuras pesquisas com amostra ampliada de crianças na faixa etária estudada e que forneçam validação cruzada dos valores aqui apresentados. Outra possibilidade é investigar se os pontos de corte aqui fornecidos são válidos para separar crianças escolares em bons e maus compreendedores, também, em amostras independentes, por meio de validação cruzada.

CONCLUSÃO

Estabeleceram-se pontos de corte para taxa e acurácia de leitura oral de texto para escolares do 2º ao 5º ano, com recomendações de utilização dos valores da taxa de leitura de cada ano escolar para procedimentos de rastreamento da compreensão leitora.

Material Suplementar

Este artigo acompanha material suplementar.

Textos selecionados para a pesquisa, extraídos de livros de Língua Portuguesa utilizados nas escolas, e questões correspondentes
Click here for additional data file. (221.4KB, pdf)

Este material está disponível como parte da versão online do artigo na página: https://doi.org/10.1590/2317-1782/20232021263pt

Funding Statement

Financial support: Fundação de Amparo à Pesquisa do Estado de São Paulo - FAPESP (06/54714-0, 2008/57186-0).

Footnotes

Trabalho realizado no Departamento de Fonoaudiologia, Escola Paulista de Medicina - EPM, Universidade Federal de São Paulo - UNIFESP - São Paulo (SP), Brasil.

Fonte de financiamento: Fundação de Amparo à Pesquisa do Estado de São Paulo - FAPESP (06/54714-0, 2008/57186-0).

Associated Data

    This section collects any data citations, data availability statements, or supplementary materials included in this article.

    Supplementary Materials

    Texts selected for the research, extracted from books used in Portuguese school lessons, and correlated questions
    Click here for additional data file. (221.4KB, pdf)
    Textos selecionados para a pesquisa, extraídos de livros de Língua Portuguesa utilizados nas escolas, e questões correspondentes
    Click here for additional data file. (221.4KB, pdf)

    Articles from CoDAS are provided here courtesy of Sociedade Brasileira de Fonoaudiologia

    RESOURCES