Evaluation of the Pediatric Symptom Checklist as a screening tool for the identification of emotional and psychosocial problems

Sandra Regina B Muzzolon; Mônica Nunes L Cat; Lúcia Helena C dos Santos

doi:10.1590/S0103-05822013000300013

. 2013 Sep;31(3):359–365. doi: 10.1590/S0103-05822013000300013

Show available content in

View full-text in Portuguese

Evaluation of the Pediatric Symptom Checklist as a screening tool for the identification of emotional and psychosocial problems

Sandra Regina B Muzzolon ¹, Mônica Nunes L Cat ², Lúcia Helena C dos Santos ³

PMCID: PMC4182980 PMID: 24142319

Abstract

OBJECTIVE

To investigate the Brazilian version of Pediatric Symptom Checklist (PSC) as a screening tool to identify psychosocial and emotional problems in schoolchildren from six to 12 years old.

METHODS

Diagnostic test conducted in a public school of Curitiba, Paraná (Southern Brazil), to evaluate the PSC accuracy and consistency, considering the Child Behavior Checklist (CBCL) as the gold standard. Among 415 parents invited for the study, 145 responded to both PSC and CBCL. The results of the two instruments were compared. PSC and CBCL were considered positive if scores ≥28 and >70 respectively.

RESULTS

Among the 145 cases, 49 (33.8%) were positive for both PSC and CBCL. The ROC curve showed the PSC score of 21 as the best cutoff point for screening psychosocial and emotional problems, with a sensitivity of 96.8% and a specificity of 86.7%. Regarding the reference cutoff (score ≥28 points), the sensitivity was 64.5% and the specificity, 100.0%, similar to those found in the original version of the tool.

CONCLUSIONS

The Portuguese version of PSC was effective for early identification of emotional and/or psychosocial problems in a schoolchildren group and may be useful for pediatricians.

Keywords: child, triage, mental disorders

Introduction

The identification of psychosocial and emotional problems should be part of pediatric practice. Studies have documented the increased prevalence of mental disorders (MD) in children and adolescents. In the United States, epidemiological studies indicate a prevalence of 17 to 27% of some type of MD in this age range⁽ ¹ ^, ² ⁾. In Taubaté, state of São Paulo, a study with the same group found a prevalence of 12.5% individuals with at least one MD, and, in poor urban areas, where there are sociocultural risk factors, the rate was 13.7%⁽ ³ ⁾.

The recognition, intervention, and preventive care of mental disorders in children and adolescents help define and reduce the effects on personality, not yet fully formed, contributing to a healthy development. The lack of early recognition, the persistence and worsening of symptoms in the later stages of development can cause damage not only to the childâ€(tm)s daily life but also to the family and the society.

The relationship between genetic and environmental factors in the origin of MDs is dynamic and cumulative in its capacity to influence development and change their future conditions. The negative result of situations experienced in childhood, the genetic, biologic, psychological, and environmental risk factors, as well as the complex interactions between them, can lead to the appearance of one or more MDs. Among the most prevalent are depressive disorder (DD), anxiety disorder (AD), oppositional defiant disorder (ODD), and attention deficit disorder/hyperactivity (ADHD), with frequent presence of more than one disorder in the same individual⁽ ⁴ ⁾. These inter-relations may hinder diagnosis and, consequently, an early intervention by health professionals who are not familiar with these clinical features. However, the indicative of a mental disorder in childhood and adolescence should not be confused with the normal characteristics of developmental stages, which may present similar pathological symptoms.

The high prevalence of MD in childhood and adolescence demands the use of assistance techniques to identify the need for psychological and/or psychiatric assessment and treatment. Most of these professionals, many of them pediatricians, do not feel adequately trained or do not have time for the identification and subsequent referral of children and/or adolescents with indicatives of MD. An alternative is the use of rating scales already validated, such as the Child Behavior Checklist (CBCL)⁽ ⁵ ^, ⁶ ⁾ and the Pediatric Symptom Checklist (PSC)⁽ ⁷ ⁾.

The present study evaluated the accuracy of the Brazilian version of the PSC - Pediatric Symptom Checklist - as a screening instrument for emotional and psychosocial problems in a population of schoolchildren aged from 6 to 12 years, comparing the results with those obtained by the CBCL.

Method

This was a diagnostic test study to assess the accuracy of PSC in the diagnosis of emotional and/or psychosocial problems, considering the CBCL as the gold standard. The PSC is a screening instrument for emotional and/or psychosocial problems for children and adolescents from 6 to 16 years. It is a questionnaire with 35 items, with a fast fill-in process, which reflects the impression of parents on the behavior and development of the child. The cutoff point for positive risk must be ≥28 points⁽ ⁸ ⁾. The CBCL, in turn, is a questionnaire also responded by parents, that assesses emotional and behavior problems, being considered a standard instrument in child and adolescent psychology.

Initially, all parents of children who met the inclusion criteria were invited: students of both genders, aged from 6 to 12 years of age, enrolled in a public school in Curitiba, state of Paraná (n=601). A total of 415 agreed to participate and responded to the first assessment instrument, the PSC, reporting the results to the participants. These 415 parents were asked to respond to a second assessment instrument, the CBCL. Among these, 145 agreed, constituting, thus, the study sample. The results of the administration of the two instruments in this sample were compared, considering the gold standard set by the CBCL. We sought to further evaluate the internal consistency of the PSC, as well as its sensitivity and specificity for the diagnosis of screening of emotional and/or psychosocial problems.

The PSC is a screening tool to identify children or adolescents with emotional and/or psychosocial problems. It consists of 35 items, valid for the age group from 6 to 16 years. It is easy to administer, to understand, and to interpret the results. The score attributed by the respondent, who indicates how often the situation proposed in the question occurs, is zero for "never" one for "sometimes" and two for "often". The cutoff point established for the American score is ≥28 points, in which case the result is considered positive, i.e., the respondent would have the indication to be referred for a mental health evaluation (Chart 1).

The CBCL was adapted and translated to the Portuguese language by Bordin, Mari and Caeiro, in 1995⁽ ⁶ ⁾. It is a comprehensive instrument considered as gold standard, answered by the parents. It reports the skills and problems in children or adolescents between 6 and 18 years and provides an analysis of the emotional, social, and behavioral profile of the individual, divided in two parts. The first refers to the Social Competence, i.e., involvement and performance of the child/adolescent in sports activities, games, hobbies, jobs, and daily tasks, whose scores grow according to the greater social competence of the assessed. The second part refers to the assessment of the existence of emotional and behavioral problems. It consists of 118 items and the answers of the individual are "not true/absent" (equivalent to score 0); "somewhat/ sometimes true" (equivalent to score 1) and "often true" (equivalent to score 2). The sum of the scores is converted into T-scores, according to appropriate analyzes for age and gender. In this case, it is presented in scale and syndromes, that is, problems that usually occur together. A T-score ≥70 is considered clinical; between 64-69, borderline; and <63, normal. For scales of internalizing and externalizing problems, a T-score â‰¤60 is considered normal, between 60-63, borderline, and >63 it is considered clinical.

In statistical analysis were applied: a) Pearsonâ€(tm)s chi-square test with Yates correction, to assess the frequency of responses obtained in each category (normal, borderline, and clinical) in the two assessment instruments; b) Cronbachâ€(tm)s coefficient to assess the internal consistency of the PSC; c) Kappa concordance coefficient to estimate the degree of agreement of the results of the two evaluation instruments, and d) ROC curves, to evaluate the performance of the PSC as a screening tool for the diagnosis of emotional and/or psychosocial problems and the cutoff, i.e., the score value with higher sensitivity and specificity⁽ ⁷ ⁾. The sample was calculated in order to verify the degree of agreement between the two assessment tools for the diagnosis of screening for emotional and/or psychosocial problems to compare the frequency obtained in the sample with the estimated prevalence of mental disorders in the population (13-27%)⁽ ¹ ^- ³ ⁾. The level of significance was established at 5%, the type II error at 10%, and the power test at 90%, and there was a minimum calculation of 120 subjects⁽ ⁷ ⁾.

This study was approved by the Research Ethics Committee of Hospital de Clínicas da Universidade Federal do Paraná. Parents or guardians signed an informed consent form.

Results

In the analysis of internal consistency of the PSC, a high Cronbachâ€(tm)s coefficient (0.89) was obtained, which showed its quality and reliability.

Among 415 parents and/or guardians who responded only to the PSC, 58 (14%) presented a positive result, indicating risk for emotional and/or psychosocial problems. Among the 145 cases in which the evaluation by the PSC and the CBCL were conducted, the frequency was of 33.8% (49 cases). The frequency of PSC ≥28 has higher in males (p<0.01) and similar between the age groups (p=0.49).

In the CBCL, it was observed that 62 children/adolescents (42.7%) had a score greater than 70; 23 (15.9%), between 65-69; and 60 (41.4%), a score <60. When studying in detail the 62 children (42.7%) with score rated as clinical by CBCL, it was observed that, among the most common syndromes were anxiety/depression, somatic complaints, and aggressive behavior (Table 1). Among these, 29 presented externalizing and internalizing problems; 17, only externalizing; 13, only internalizing; and three, other problems.

Table 1. Frequency distribution of syndromes presented by the Child Behavior Checklist.

graphic file with name 0103-0582-rpp-31-03-00359-gt01.jpg

Open in a new tab

There was good agreement between the responses of the PSC and the CBCL for results classified as normal and clinical (Kappa=0.69). Borderline cases were excluded from this analysis (Table 2).

Table 2. Concordance between the values of the Pediatric Symptom Checklist and the Child Behavior Checklist, for "normal" and "clinic" results.

graphic file with name 0103-0582-rpp-31-03-00359-gt02.jpg

Open in a new tab

Considering the frequencies obtained, the result of the PSC showed a sensitivity of 64.5%, specificity of 100%, positive predictive value (PPV) of 100%, negative predictive value of (NPV) of 75.5%, accuracy of 84.4%, false positive rate (FP) of zero and false negative of (FN) 24% for the diagnosis of emotional and psychosocial problems established by the CBCL, with a cutoff ≥28 points established in the literature. There was a strong correlation between the total score of the PSC and the CBCL (r=0.84), with no significant difference regarding gender or age range.

By observing the gender distribution in the sample, it was found that in males, mean scores for externalizing problems were greater than in females (p<0.01). This difference was due to the breaking rules syndrome and aggressive behavior, more common in males.

In the ROC curve, considering as a dependent variable the total clinical versus normal problems, and as an independent variable, the score of the PSC, it was obtained 21 as the cutoff score, with sensitivity of 96.8% and specificity of 86.7%. The area under the curve was 0.96, indicating high sensitivity and specificity for identifying psychosocial and emotional problems (Graph 1).

Discussion

In developed countries, one in ten children presents at least one MD. Pediatricians should be prepared and alert to detect emotional problems and/or psychosocial interventions, since early interventions and treatment may improve outcome, prognosis, and damages to the child, the family and the society⁽ ⁸ ^, ⁹ ⁾. A study showed that over 50% of children with MD in school age already demonstrated characteristics of the problems in the preschool period⁽ ¹⁰ ⁾. Similarly, in a retrospective study on antisocial behavior in adolescence⁽ ¹¹ ⁾, it was noted that adolescents with problems already presented psychological signs at 2-3 years old, demonstrating, thus, that characteristic symptoms of internalizing and externalizing problems may be often predictive⁽ ¹² ^, ¹³ ⁾. An increase in referrals to mental health professionals was effective in reducing and improving symptoms as well as in the score of the PSC in a second reassessment⁽ ¹⁴ ⁾.

Among the 415 parents who responded only to the first assessment instrument (PSC), 58 (14%) presented positive risk for emotional or psychosocial problems. In the evaluation of the 145 children and/or adolescents, it was observed that the PSC was positive in 33.8%. Among the 270 who did not agree in answering the CBCL, only nine (3.3%) had a PSC score ≥28 points, i.e., risk for emotional and/or psychosocial problems. The remaining 261 presented a score <28 points (97.7%). The frequency of 14% obtained among the 415 participants seems to reflect more faithfully the prevalence of emotional and/or psychosocial problems pointed in the literature, since the frequency of 33.8% obtained among the 145 parents who agreed to responding also to the CBCL may be overestimated because of greater adherence to the second stage of the study, as a result of the positive outcome of the PSC applied previously.

The frequency observed in this study is similar to that of the U.S. population⁽ ¹⁵ ⁾, of 13%, on a broad approach to the pediatric population in 44 U.S. states, from Porto Rico, and four Canadian provinces. In a Hispanic population⁽ ¹⁶ ⁾ living in the state of Texas, there was a similar prevalence, of 16.5% of positive PSC. The results of the PSC which indicate the degree of reliability and validity in relation to the CBCL, used in this study as the gold-standard, are very similar to those found in studies conducted in other countries⁽ ² ^, ¹⁵ ^- ¹⁷ ⁾.

The questions chosen to compose the PSC reflect emotional and behavioral characteristics that are important for the identification of these problems in schoolchildren⁽ ¹⁶ ⁾. By observing the frequency of responses to the grouping of questions (1-3, 10, 11, 13, 15, 19, 20-22, 27 and 30; Chart 1), the pediatricians should consider, in their assessment, characteristics of internalizing problems, i.e., children or adolescents with signs of anxiety, isolation, depression, and somatic complaints. Considering that younger children have more difficult to identify, describe, and demonstrate their feelings, due to emotional immaturity, the pediatricianâ€(tm)s attention should be redoubled in this age group.

Questions 12, 16, 17, 25, 26, 29, 31, 32-35 (Chart 1) are characteristic of externalizing problems, such as aggression and rule breaking. Not following the rules is a behavior that is part of the development of children, especially from 2-3 years of age and in adolescence. However, when this kind of behavior occurs often, consistently, and with damages to adaptive functioning, it may indicate oppositional defiant disorder.

Both in the 415 participants that responded only to the PSC and the 145 who responded to both instruments, it was observed a predominance of positivity in the male gender. Another study assessed a population of 21,065 children and adolescents and showed scores with positive responses in significantly higher in males compared to females (17 and 9% for schoolchildren and 12 and 9% for preschoolers)⁽ ¹⁵ ⁾.

The results of the PSC showed good internal consistency and reliability of measurement. Considering the outcome of risk of emotional and psychosocial problems established by the CBCL, the ROC curve showed that the cutoff for this population was 21 points, with a sensitivity of 96.8% and specificity of 86.7%. When observing how the curve would behave with the cutoff point proposed for the U.S. population⁽ ⁸ ^, ¹⁵ ^, ¹⁸ ⁾ (28 points), a sensitivity of 64.5% and specificity of 100% were found. This reveals that the Brazilian sample behaves similarly to the U.S. sample, when considering the cutoff point of 28 points. In a study in the Netherlands⁽ ² ⁾, a cutoff of 22 points was proposed, with sensibility of 71.7% and specificity of 93% for the outcome risk of emotional and psychosocial problems. The choice of the best cutoff in PSC⁽ ¹⁸ ⁾ considers the ability to detect the largest number of children and adolescents with indicatives of MD, in order to identify those who truly need evaluation and/or treatment by mental health professionals. High cutoffs select a smaller number of people, probably covering the most affected, which, in fact, require specialized evaluation. Lower cutoffs select a larger number of subjects, and among them, those with little or no real problems, creating a great demand for specialized assessments and perhaps unnecessary concern for the family.

Thus, the identification of children and adolescents with MDs cannot be restricted to a single assessment instrument and to numeric accuracy. One should not oversimplify this complex task. The role of the pediatrician is essential, both in clinical assessment and in the assessment of the results of the screening instrument, in this case, the PSC. This assessment may help the professional to decide for the orientation of the family and the next reassessment or, if not sure or capable, he may refer the family to an appointment with a specialist. In this sample, a PSC with a score ≥28 presented specificity of 100% for emotional and psychosocial problems, being essential the referral for specialized evaluation. Between 21 and 27 points, there are cases in which the clinical evaluation is crucial to decide for the referral or close observation by the pediatrician.

It is the role of the pediatrician, a professional who has a great bond with families, to know how to recognize the different MDs for early interventions. The increasing emphasis on productivity and profitability adds more pressure on this professional, further limiting attention to the emotional and psychosocial problems. The use of screening tools for MDs as part of routine health care of children and adolescents may facilitate recognition and early referral, as well as information on the clinical symptoms of physical and organic origin. The PSC is a screening test for children and adolescents aged from zero to 16 years, of easy administration, understanding, and interpretation, besides the great degree of respect, reliability, and validity in relation to the CBCL (gold standard). The pediatrician who already uses other screening tools will find it easy to handle it. Parents can answer the questions while they wait for the pediatric consultation of their children. The PSC is a first step for screening MDs in childhood. The second is up to the pediatrician, together with parents, so that a final decision regarding the referral is made.

Acknowledgements

To the board of Direction, Coordination, Faculty Members and, in particular, to parents and families of students of Escola Estadual Aline Picheth, Curitiba, state of Paraná.

Footnotes

Instituição: Universidade Federal do Paraná (UFPR), Curitiba, PR, Brasil

References

1.Stoppelbein L, Greening L, Jordan SS, Elkin TD, Moll G, Pullen J. Factor analysis of the Pediatric Symptom Checklist with a chronically ill pediatric population. J Dev Behav Pediatr. 2005;26:349–355. doi: 10.1097/00004703-200510000-00002. [DOI] [PubMed] [Google Scholar]
2.Reijneveld SA, Vogels AG, Hoekstra F, Crone MR. Use of the Pediatric Sympton Checklist for the detection of psychosocial problems in preventive child healthcare. BMC Public Health. 2006;6:197–197. doi: 10.1186/1471-2458-6-197. [DOI] [PMC free article] [PubMed] [Google Scholar]
3.Goodman R, Neves dos Santos D, Robatto Nunes AP, Pereira de Miranda D, Fleitlich-Bilyk B, Almeida N., Filho The Ilha de Maré study: a survey of child mental health problems in a predominantly African-Brazilian rural community. Soc Psychiatry Psychiatr Epidemiol. 2005;40:11–17. doi: 10.1007/s00127-005-0851-z. [DOI] [PubMed] [Google Scholar]
4.Canino G, Shrout PE, Rubio-Stipec M, Bird HR, Bravo M, Ramirez R, et al. The DSM-IV rates of child and adolescent disorders in Puerto Rico: prevalence, correlates, service use, and the effects of impairment. Arch Gen Psychiatry. 2004;61:85–93. doi: 10.1001/archpsyc.61.1.85. [DOI] [PubMed] [Google Scholar]
5.Achenbach TM. Manual for the Child Behavior Checklist/4-18 and 1991 profile. Burlington: University of Vermont; 1991. [Google Scholar]
6.Bordin IA, Mari JJ, Caeiro MF. Validação da versão brasileira do Child Behavior Checklist (CBCL) (Inventário de Comportamentos da Infância e Adolescência): dados preliminares. Rev ABP-APAL. 1995;17:55–66. [Google Scholar]
7.Altman DG. Practical statistics for medical research. Londres: Chapman & Hall/CRC; 1999. [Google Scholar]
8.Jellinek MS, Murphy JM, Burns BJ. Brief psychosocial screening in outpatient pediatric practice. J Pediatr. 1986;109:371–378. doi: 10.1016/s0022-3476(86)80408-5. [DOI] [PubMed] [Google Scholar]
9.Hacker KA, Myagmarjav E, Harris V, Suglia SF, Weidner D, Link D. Mental health screening in pediatric practice: factors related to positive screens and the contribution of parental/personal concern. Pediatrics. 2006;118:1896–1906. doi: 10.1542/peds.2006-0026. [DOI] [PubMed] [Google Scholar]
10.Lavigne JV, Arend R, Rosenbaum D, Binns HJ, Christoffel KK, Burns A, et al. Mental health service use among young children receiving pediatric primary care. J Am Acad Child Adolesc Psychiatry. 1998;37:1175–1183. doi: 10.1097/00004583-199811000-00017. [DOI] [PubMed] [Google Scholar]
11.Moffitt TE, Caspi A. Childhood predictors differentiate life-course persistent and adolescence-limited antisocial pathways among males and females. Dev Psychopathol. 2001;13:355–375. doi: 10.1017/s0954579401002097. [DOI] [PubMed] [Google Scholar]
12.Williams J, Klinepeter K, Palmes G, Pulley A, Foy JM. Diagnosis and treatment of behavioral health disorders in pediatric practice. Pediatrics. 2004;114:601–606. doi: 10.1542/peds.2004-0090. [DOI] [PubMed] [Google Scholar]
13.Mesman J, Koot HM. Early preschool predictors of preadolescent internalizing and externalizing DSM-IV diagnoses. J Am Acad Child Adolesc Psychiatry. 2001;40:1029–1036. doi: 10.1097/00004583-200109000-00011. [DOI] [PubMed] [Google Scholar]
14.Bird HR, Canino G, Rubio-Stipec M, Gould MS, Ribera J, Sesman M, et al. Estimates of the prevalence of child maladjustment in a community survey in Puerto Rico. The use of combined measures. Arch Gen Psychiatry. 1988;45:1120–1126. doi: 10.1001/archpsyc.1988.01800360068010. [DOI] [PubMed] [Google Scholar]
15.Jellinek MS, Murphy JM, Little M, Pagano ME, Comer DM, Kelleher KJ. Use of the Pediatric Symptom Checklist to screen for psychosocial problems in pediatric primary care: a national feasibility study. Arch Pediatr Adolesc Med. 1999;153:254–260. doi: 10.1001/archpedi.153.3.254. [DOI] [PMC free article] [PubMed] [Google Scholar]
16.Leiner MA, Balcazar H, Straus DC, Shirsat P, Handal G. Screening Mexicans for psychosocial and behavioral problems during pediatric consultation. Rev Invest Clin. 2007;59:116–123. [PubMed] [Google Scholar]
17.Thun-Hohenstein L, Herzog S. The predictive value of the pediatric symptom checklist in 5-year-old Austrian children. Eur J Pediatr. 2008;167:323–329. doi: 10.1007/s00431-007-0494-z. [DOI] [PubMed] [Google Scholar]
18.Murphy JM, Arnett HL, Bishop SJ, Jellinek MS, Reede JY. Screening for psychosocial dysfunction in pediatric practice. A naturalistic study of the Pediatric Symptom Checklist. Clin Pediatr (Phila) 1992;31:660–667. doi: 10.1177/000992289203101104. [DOI] [PubMed] [Google Scholar]

Rev Paul Pediatr. 2013 Sep;31(3):359–365. [Article in Portuguese]

Avaliação da Lista de Sintomas Pediátricos como instrumento de triagem para identificar problemas emocionais e psicossociais

Abstract

OBJETIVO

Investigar a Lista de Sintomas Pediátricos (LSP) como instrumento de triagem para identificar problemas emocionais e psicossociais em escolares de seis a 12 anos.

MÉTODOS

Estudo do tipo teste diagnóstico, realizado em uma escola pública de Curitiba, Paraná, para avaliar a acurácia e a consistência da LSP, considerando-se o Child Behavior Checklist (CBCL) como padrão-ouro. Dos 415 pais convidados a participar do estudo, 145 responderam à LSP e ao CBCL, constituindo a amostra. Os resultados dos dois instrumentos foram comparados. Considerou-se como positivo o escore da LSP ≥28 e o do CBCL >70 pontos.

RESULTADOS

Dos 145 questionários, 49 (33,8%) tanto da LSP como do CBCL mostraram-se positivos. A curva ROC indicou 21 como o melhor ponto de corte para triagem de problemas emocionais e psicossociais, com sensibilidade de 96,8% e especificidade de 86,7%. No ponto de corte de referência (≥28), observou-se sensibilidade de 64,5% e especificidade de 100,0%, similares às encontradas na versão americana do instrumento.

CONCLUSÕES

A LSP mostrou-se eficaz para a identifição precoce de problemas emocionais e/ou psicossociais em um grupo de escolares, podendo ser uma ferramenta útil ao pediatra.

Keywords: criança, triagem, transtornos mentais

Introdução

A identificação de problemas emocionais e psicossociais deve fazer parte da prática pediátrica. Estudos documentam o aumento da prevalência de transtornos mentais (TM) em crianças e adolescentes. Nos Estados Unidos, estudos epidemiológicos indicam prevalência de 17 a 27% de algum tipo de TM nessa faixa etária⁽ ¹ ^, ² ⁾. Em Taubaté, São Paulo, uma pesquisa encontrou prevalência de 12,5% de jovens com pelo menos um TM, sendo que, nas áreas urbanas carentes, onde havia fatores socioculturais de risco, o índice foi de 13,7%⁽ ³ ⁾.

O reconhecimento, a intervenção e os cuidados preventivos de TM em crianças e/ou adolescentes ajudam a delimitar e a reduzir os efeitos na personalidade, ainda não completamente formada, contribuindo para um desenvolvimento saudável. A falta de reconhecimento precoce, a persistência e o agravamento dos sintomas nos estágios posteriores do desenvolvimento podem causar prejuízos não só à vida diária, como à família e à sociedade.

A relação entre fatores genéticos e ambientais na origem dos TM é dinâmica e cumulativa na capacidade de influenciar o desenvolvimento e alterar suas condições futuras. O resultado negativo de situações vividas na infância, os fatores de risco genético, biológico, psicológico e ambiental, além das complexas interações entre eles, podem trazer como consequência o surgimento de um ou mais TM. Entre os mais prevalentes, encontram-se o transtorno depressivo (TD), o transtorno de ansiedade (TA), o transtorno opositivo-desafiador (TOD) e o transtorno de déficit de atenção/hiperatividade (TDAH), sendo frequente a presença de mais de um no mesmo indivíduo⁽ ⁴ ⁾. Essas inter-relações podem dificultar o diagnóstico e, consequentemente, a intervenção precoce por profissionais da saúde não familiarizados com suas características clínicas. No entanto, o indicativo de um TM na infância e na adolescência não deve ser confundido com características normais da fase de desenvolvimento, que podem apresentar semelhança com sintomas patológicos.

A alta prevalência de TM na infância e na adolescência demanda do profissional da saúde a utilização de técnicas de auxílio para identificar a necessidade de avaliação e tratamento psicológico e/ou psiquiátrico. A maioria desses profissionais, muitos deles pediatras, não se sente adequadamente treinada ou não dispõe de tempo hábil para o diagnóstico e consequente encaminhamento de crianças e/ou adolescentes com indicativo de TM. Uma alternativa é o uso de escalas de avaliação já validadas, como o Child Behavior Checklist (CBCL)⁽ ⁵ ^, ⁶ ⁾ e o Pediatric Symptom Checklist (PSC)⁽ ⁷ ⁾.

Este estudo avaliou a acurácia da versão brasileira do PSC - a Lista de Sintomas Pediátricos (LSP) - como um instrumento de triagem de problemas emocionais e psicossociais em uma população de escolares de seis a 12 anos, comparando os resultados com os obtidos pela aplicação do CBCL.

Método

Estudo do tipo teste diagnóstico para avaliar a acurácia da LSP no diagnóstico de problemas emocionais e/ou psicossociais, considerando-se como padrão-ouro o CBCL. A LSP é um instrumento de triagem para problemas emocionais e/ou psicossociais para crianças e adolescentes de seis a 16 anos. É um questionário com 35 itens, de rápido preenchimento, que refletem a impressão dos pais sobre o comportamento e desenvolvimento do filho. O ponto de corte para resultado positivo de risco deve ser igual ou superior a 28 pontos⁽ ⁸ ⁾. O CBCL, por sua vez, é um questionário respondido pelos pais, que avalia problemas emocionais e de comportamento, sendo considerado um instrumento padrão em Psicologia infantil e do adolescente.

Inicialmente, convidaram-se todos os pais e/ou responsáveis por escolares de ambos os gêneros, de seis a 12 anos de idade, matriculados em uma escola pública de Curitiba, Paraná (n=601). Um total de 415 concordou em participar do estudo e respondeu ao primeiro instrumento de avaliação, a LSP, informando-se os resultados aos participantes. Esses 415 pais e/ou responsáveis foram convidados a responder a um segundo instrumento de avaliação, o CBCL. Destes, 145 concordaram, constituindo, assim, a amostra do estudo. Comparam-se os resultados da aplicação dos dois instrumentos nesta amostra, considerando-se como padrão-ouro os estabelecidos pelo CBCL. Buscou-se ainda avaliar a consistência interna da LSP, assim como sua sensibilidade e especificidade para o diagnóstico de triagem de problemas emocionais e/ou psicossociais.

A LSP é um instrumento de triagem para identificação de crianças ou adolescentes com problemas emocionais e/ou psicossociais. É de fácil aplicação, entendimento e interpretação dos resultados. A pontuação atribuída pelo avaliando, que indica a frequência em que a situação proposta na questão ocorre, é de zero para "nunca", de um para "às vezes" e de dois para "frequentemente". O ponto de corte estabelecido para a pontuação americana é igual ou superior a 28 pontos, situação em que o resultado é considerado positivo, ou seja, a criança ou o adolescente teria indicação de ser referido para avaliar sua saúde mental (Quadro 1).

O CBCL foi adaptado e validado para a língua portuguesa por Bordin, Mari e Caeiro, em 1995⁽ ⁶ ⁾. É um instrumento amplo considerado como padrão-ouro, respondido pelos pais. Reporta as competências e problemas em crianças ou adolescentes entre seis e 18 anos e fornece uma análise do perfil emocional, social e comportamental do avaliado, dividindo-se em duas partes. A primeira refere-se à Competência Social, isto é, envolvimento e desempenho da criança/adolescente em atividades de esporte, brincadeiras, jogos, passatempos, trabalhos e tarefas diárias, cujos escores crescem de acordo com a maior competência social do paciente. A segunda parte refere-se à avaliação da existência de Problemas Emocionais e de Comportamento. É composta de 118 itens e respostas para "não é verdadeiro/ausente" (equivalente a escore 0); "algumas vezes/um pouco verdadeiro" (equivalente a escore 1) e "frequentemente verdadeiro" (equivalente a escore 2). A somatória dos escores é convertida em escores T, de acordo com análises apropriadas para gênero e idade. Neste caso, apresenta-se em escala e síndromes, isto é, problemas que costumam ocorrer juntos. Um escore T igual ou acima de 70 é considerado clínico; entre 64-69 é limítrofe e abaixo de 63 é considerado normal. Para as escalas de Problemas Internalizantes e Externalizantes, um escore T menor e/ou igual a 60 é considerado normal, entre 60â€'63 é limítrofe e acima de 63 é considerado clínico.

Na análise estatística, aplicaram-se: a) teste do qui-quadrado de Pearson com correção de Yates, para avaliar a frequência de respostas obtidas em cada categoria (normal, limítrofe e clínico) nos dois instrumentos de avaliação; b) coeficiente de Cronbach, para avaliar a consistência interna da LSP; c) coeficiente de concordância de Kappa, para estimar o grau de concordância dos resultados dos dois instrumentos de avaliação e d) curva ROC, para avaliar o desempenho da LSP como instrumento de triagem para o diagnóstico de problemas emocionais e/ou psicossociais e o ponto de corte, ou seja, o valor do escore com maior sensibilidade e especificidade⁽ ⁷ ⁾. Calculou-se a amostra a fim de verificar o grau de concordância entre os dois instrumentos de avaliação para o diagnóstico de triagem para problemas emocionais e/ou psicossociais e comparar a frequência obtida na amostra estudada com a prevalência estimada de transtornos mentais na população (13â€'27%)⁽ ¹ ^- ³ ⁾. Fixando-se o nível de significância em 5%, o erro do tipo II em 10% e o poder de teste em 90%, obteve-se um cálculo mínimo de 120 sujeitos⁽ ⁷ ⁾.

Este estudo foi aprovado pelo Comitê de Ética em Pesquisa em Seres Humanos do Hospital de Clínicas da Universidade Federal do Paraná. Os pais ou responsáveis assinaram o termo de consentimento livre e esclarecido.

Resultados

Na análise de consistência interna da LSP, obteve-se elevado coeficiente de Cronbach (0,89), o que evidenciou sua qualidade e confiabilidade.

Dos 415 pais e/ou responsáveis que responderam somente à LSP, 58 (14,0%) apresentaram resultado positivo, evidenciando risco para problemas emocionais e/ou psicossociais. Nos 145 casos em que se realizou a avaliação pela LSP e pelo CBCL, a frequência foi de 33,8% (49 casos). A frequência de LSP ≥28 foi maior no gênero masculino (p<0,01) e semelhante entre as faixas etárias (p=0,49).

No CBCL, observou-se que 62 crianças/adolescentes (42,7%) apresentaram escore superior a 70; 23 (15,9%), entre 65â€'69, e 60 (41,4%) mostraram escore menor que 60. Ao se estudar detalhadamente as 62 crianças (42,7%) com escore classificado como clínico pelo CBCL, observou-se que, entre as síndromes mais frequentes, constavam Ansiedade/Depressão, Queixas Somáticas e Comportamento Agressivo (Tabela 1). Destes, 29 apresentaram problemas Externalizantes e Internalizantes; 17, apenas Externalizantes; 13, apenas Internalizantes; e três Outros Problemas.

Tabela 1. Distribuição da frequência de síndromes apresentadas pelo Child Behavior Checklist.

graphic file with name 0103-0582-rpp-31-03-00359-gt01-pt.jpg

Open in a new tab

Houve boa concordância entre as respostas da LSP e do CBCL para resultados classificados como normal e clínico (Kappa=0,69). Excluíram-se os casos limítrofes desta análise (Tabela 2).

Tabela 2. Concordância entre os valores da Lista de Sintomas Pediátricos e do Child Behavior Checklist, para os resultados "normal" e "clínico".

graphic file with name 0103-0582-rpp-31-03-00359-gt02-pt.jpg

Open in a new tab

Considerando-se as frequências obtidas, o resultado da LSP apresentou sensibilidade de 64,5%, especificidade de 100,0%, valor preditivo positivo (VPP) de 100,0%, valor preditivo negativo (VPN) de 75,5%, acurácia de 84,4%, índice de falso positivo (FP) nulo e falso negativo (FN) de 24,0% para o diagnóstico de problemas emocionais e psicossociais estabelecidos pelo CBCL, com o ponto de corte estabelecido pela literatura ≥28 pontos. Houve forte correlação entre o escore total da LSP e do CBCL (r=0,84), sem diferença significativa quanto ao gênero ou faixa etária.

Ao se observar a distribuição por gênero na amostra verificou-se, no masculino, média dos escores de Problemas Externalizantes maior do que no feminino (p<0,01). Essa diferença ocorreu devido à síndrome Quebrar Regras e Comportamento Agressivo, mais comum no gênero masculino.

Na construção da curva ROC, considerando-se como variável dependente o total de problemas clínicos versus normais e, como variável independente, a pontuação da LSP, obteve-se 21 como ponto de corte do escore, com sensibilidade de 96,8% e especificidade de 86,7%. A área abaixo da curva foi de 0,96, indicando elevados índices de sensibilidade e especificidade para identificar problemas emocionais e psicossociais (Gráfico 1).

Discussão

Em países desenvolvidos, uma em cada dez crianças apresenta pelo menos um TM. Os pediatras devem estar preparados e atentos para detectar problemas emocionais e/ou psicossociais, já que intervenções e tratamentos precoces podem melhorar a evolução e o prognóstico, além de reduzir o prejuízo causado à criança, à família e à sociedade⁽ ⁸ ^, ⁹ ⁾. Um estudo demonstrou que mais de 50% de crianças com TM na idade escolar já demonstravam características dos problemas no período pré-escolar⁽ ¹⁰ ⁾. Similarmente, em uma pesquisa retrospectiva sobre comportamento antissocial na adolescência⁽ ¹¹ ⁾, notou-se que aqueles com problemas já apresentavam sinais patológicos aos dois a três anos de idade, demonstrando, dessa forma, que sintomas característicos de problemas internalizantes e externalizantes podem ser muitas vezes preditivos⁽ ¹² ^, ¹³ ⁾. Um aumento nos encaminhamentos para profissionais da saúde mental mostrou-se eficaz na diminuição e melhora de sintomas patológicos, bem como na pontuação da LSP em uma segunda reavaliação⁽ ¹⁴ ⁾.

Dos 415 pais e/ou responsáveis que responderam somente ao primeiro instrumento de avaliação (LSP), 58 (14,0%) apresentaram resultado positivo de risco para problemas emocionais e/ou psicossociais. Na avaliação das 145 crianças e/ou adolescentes, observou-se que a LSP foi positiva em 33,8%. Dos 270 que não concordaram em responder ao CBCL, somente nove (3,3%) apresentaram escore da LSP ≥28 pontos, ou seja, de risco para problemas emocionais e/ou psicossociais. Os 261 restantes apresentaram escore <28 pontos (97,7%). A frequência de 14,0% obtida entre os 415 participantes parece refletir com mais fidelidade a prevalência de problemas emocionais e/ou psicossociais apontada pela literatura, já que a frequência de 33,8% obtida entre os 145 pais que concordaram em responder também ao CBCL pode estar superestimada em razão da maior adesão à segunda etapa do estudo, decorrente do resultado positivo da LSP aplicada previamente.

A frequência observada neste estudo assemelha-se à da população americana⁽ ¹⁵ ⁾, de 13,0%, em uma abordagem ampla da população pediátrica de 44 estados americanos, Porto Rico e de quatro províncias canadenses. Em uma amostra hispânica⁽ ¹⁶ ⁾ residente no estado do Texas, encontrou-se prevalência semelhante: 16,5% de LSP positiva. Os resultados da LSP que indicam o grau de confiabilidade e a validade em relação ao CBCL, utilizado neste estudo como padrão-ouro, são similares aos encontrados em estudos de outros países⁽ ² ^, ¹⁵ ^- ¹⁷ ⁾.

As questões escolhidas para compor a LSP refletem características emocionais e de comportamento importantes para identificar problemas em escolares⁽ ¹⁶ ⁾. Ao observar a frequência de respostas ao agrupamento de questões (1â€'3, 10, 11, 13, 15, 19, 20-22, 27 e 30; Quadro 1), o pediatra deverá considerar, em sua avaliação, características para Problemas Internalizantes, isto é, crianças ou adolescentes com sinais de ansiedade, isolamento, queixas somáticas e depressão. Considerando-se que crianças menores possuem maior dificuldade para identificar, descrever e demonstrar seus sentimentos, em razão da imaturidade emocional, a atenção do pediatra deverá ser redobrada nessa faixa etária.

As questões 12, 16, 17, 25, 26, 29, 31, 32â€'35 (Quadro 1) são características de Problemas Externalizantes, como quebrar regras e agressividade. Não obedecer a regras é um comportamento que faz parte do desenvolvimento da criança, principalmente dos dois aos três anos de idade e na adolescência. No entanto, ao ocorrer frequentemente, de maneira consistente e com prejuízo ao funcionamento adaptativo, pode-se indicar transtorno opositivo desafiador.

Tanto nos 415 participantes que responderam somente à LSP quanto nos 145 que responderam a ambos os instrumentos, observou-se predomínio de positividade no gênero masculino. Outro estudo avaliou uma população de 21.065 crianças e adolescentes e mostrou escores para respostas positivas no gênero masculino significativamente maiores do que no feminino (17 e 9% para os escolares e 12 e 9% para os pré-escolares)⁽ ¹⁵ ⁾.

Os resultados da LSP revelaram boa consistência interna e fidedignidade de mensuração. Considerando-se como desfecho o risco de problemas emocionais e psicossociais estabelecidos pelo CBCL, a curva ROC mostrou que o ponto de corte para essa população foi de 21,0 pontos, com sensibilidade de 96,8% e especificidade de 86,7%. Ao observar como se comportaria a curva com o ponto de corte proposto para a população americana⁽ ⁸ ^, ¹⁵ ^, ¹⁸ ⁾ (28 pontos), constatou-se sensibilidade de 64,5% e especificidade de 100%. Isso revela que a amostra brasileira comporta-se de forma semelhante à americana, quando se considera o ponto de corte de 28 pontos. Já em estudo na Holanda⁽ ² ⁾, propôs-se ponto de corte de 22 pontos, com sensibilidade de 71,7% e especificidade de 93,0% para o desfecho risco de problemas emocionais e psicossociais. A escolha do melhor ponto de corte na LSP⁽ ¹⁸ ⁾ considera a capacidade de detectar o maior número de crianças e indivíduos com indicativos de TM, de forma a identificar os que de fato necessitam de avaliação e/ou tratamento de profissionais da saúde mental. Pontos de corte altos selecionam um menor número de pessoas, provavelmente abrangendo as mais comprometidas, que, de fato, necessitam de avaliação especializada. Pontos de corte mais baixos selecionam um maior número de indivíduos, dentre esses, os com pouco ou nenhum comprometimento real, gerando uma grande demanda de avaliações especializadas e uma preocupação talvez desnecessária para a família.

Assim, a identificação de crianças e adolescentes com TM não pode se restringir a um único instrumento de avaliação e a uma precisão numérica. Não se deve simplificar demasiadamente essa tarefa complexa. A função do pediatra é indispensável, tanto na avaliação clínica quanto na avaliação dos resultados de um instrumento de triagem, neste caso, a LSP. Essa avaliação pode ajudar o profissional a decidir pela orientação da família e reavaliação próxima ou, se não se sentir seguro e capacitado, encaminhar a família para consulta com um especialista. Nesta amostra, uma LSP com pontuação de 28 ou mais apresentou especificidade de 100,0% para problemas emocionais e/ou psicossociais, sendo obrigatório o encaminhamento para avaliação especializada. Entre 21 e 27 pontos, encontram-se casos em que a avaliação clínica é fundamental para se decidir pelo encaminhamento ou observação próxima pelo pediatra.

Cabe ao pediatra, profissional que possui grande vínculo com as famílias, saber reconhecer os diferentes TM para realizar intervenções precocemente. A crescente ênfase na produtividade e na rentabilidade adiciona mais uma pressão para esse profissional, limitando ainda mais a atenção sobre os problemas emocionais e psicossociais. O uso de instrumentos de triagem para TM como parte da rotina dos cuidados médicos de saúde da criança e do adolescente pode facilitar o reconhecimento e o encaminhamento precoce, da mesma forma que as informações sobre os sintomas clínicos, de ordem física e orgânica. A LSP é um teste de triagem para crianças e adolescentes de seis a 16 anos, de fácil administração, entendimento e interpretação, além do excelente grau de relação, confiabilidade e validade em relação ao CBCL (padrão-ouro). O pediatra que já utiliza outros instrumentos de triagem em seus procedimentos terá facilidade em manuseá-la. Ela pode ser respondida pelos pais enquanto aguardam a consulta pediátrica de seu filho. A LSP é um primeiro passo para a triagem de indicação de TM na infância.

Agradecimentos

À Direção, Coordenação, Corpo Docente e, em especial, aos pais e familiares dos alunos da Escola Estadual Aline Picheth, Curitiba, Paraná.

[B01] 1.Stoppelbein L, Greening L, Jordan SS, Elkin TD, Moll G, Pullen J. Factor analysis of the Pediatric Symptom Checklist with a chronically ill pediatric population. J Dev Behav Pediatr. 2005;26:349–355. doi: 10.1097/00004703-200510000-00002. [DOI] [PubMed] [Google Scholar]

[B02] 2.Reijneveld SA, Vogels AG, Hoekstra F, Crone MR. Use of the Pediatric Sympton Checklist for the detection of psychosocial problems in preventive child healthcare. BMC Public Health. 2006;6:197–197. doi: 10.1186/1471-2458-6-197. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B03] 3.Goodman R, Neves dos Santos D, Robatto Nunes AP, Pereira de Miranda D, Fleitlich-Bilyk B, Almeida N., Filho The Ilha de Maré study: a survey of child mental health problems in a predominantly African-Brazilian rural community. Soc Psychiatry Psychiatr Epidemiol. 2005;40:11–17. doi: 10.1007/s00127-005-0851-z. [DOI] [PubMed] [Google Scholar]

[B04] 4.Canino G, Shrout PE, Rubio-Stipec M, Bird HR, Bravo M, Ramirez R, et al. The DSM-IV rates of child and adolescent disorders in Puerto Rico: prevalence, correlates, service use, and the effects of impairment. Arch Gen Psychiatry. 2004;61:85–93. doi: 10.1001/archpsyc.61.1.85. [DOI] [PubMed] [Google Scholar]

[B05] 5.Achenbach TM. Manual for the Child Behavior Checklist/4-18 and 1991 profile. Burlington: University of Vermont; 1991. [Google Scholar]

[B06] 6.Bordin IA, Mari JJ, Caeiro MF. Validação da versão brasileira do Child Behavior Checklist (CBCL) (Inventário de Comportamentos da Infância e Adolescência): dados preliminares. Rev ABP-APAL. 1995;17:55–66. [Google Scholar]

[B07] 7.Altman DG. Practical statistics for medical research. Londres: Chapman & Hall/CRC; 1999. [Google Scholar]

[B08] 8.Jellinek MS, Murphy JM, Burns BJ. Brief psychosocial screening in outpatient pediatric practice. J Pediatr. 1986;109:371–378. doi: 10.1016/s0022-3476(86)80408-5. [DOI] [PubMed] [Google Scholar]

[B09] 9.Hacker KA, Myagmarjav E, Harris V, Suglia SF, Weidner D, Link D. Mental health screening in pediatric practice: factors related to positive screens and the contribution of parental/personal concern. Pediatrics. 2006;118:1896–1906. doi: 10.1542/peds.2006-0026. [DOI] [PubMed] [Google Scholar]

[B10] 10.Lavigne JV, Arend R, Rosenbaum D, Binns HJ, Christoffel KK, Burns A, et al. Mental health service use among young children receiving pediatric primary care. J Am Acad Child Adolesc Psychiatry. 1998;37:1175–1183. doi: 10.1097/00004583-199811000-00017. [DOI] [PubMed] [Google Scholar]

[B11] 11.Moffitt TE, Caspi A. Childhood predictors differentiate life-course persistent and adolescence-limited antisocial pathways among males and females. Dev Psychopathol. 2001;13:355–375. doi: 10.1017/s0954579401002097. [DOI] [PubMed] [Google Scholar]

[B12] 12.Williams J, Klinepeter K, Palmes G, Pulley A, Foy JM. Diagnosis and treatment of behavioral health disorders in pediatric practice. Pediatrics. 2004;114:601–606. doi: 10.1542/peds.2004-0090. [DOI] [PubMed] [Google Scholar]

[B13] 13.Mesman J, Koot HM. Early preschool predictors of preadolescent internalizing and externalizing DSM-IV diagnoses. J Am Acad Child Adolesc Psychiatry. 2001;40:1029–1036. doi: 10.1097/00004583-200109000-00011. [DOI] [PubMed] [Google Scholar]

[B14] 14.Bird HR, Canino G, Rubio-Stipec M, Gould MS, Ribera J, Sesman M, et al. Estimates of the prevalence of child maladjustment in a community survey in Puerto Rico. The use of combined measures. Arch Gen Psychiatry. 1988;45:1120–1126. doi: 10.1001/archpsyc.1988.01800360068010. [DOI] [PubMed] [Google Scholar]

[B15] 15.Jellinek MS, Murphy JM, Little M, Pagano ME, Comer DM, Kelleher KJ. Use of the Pediatric Symptom Checklist to screen for psychosocial problems in pediatric primary care: a national feasibility study. Arch Pediatr Adolesc Med. 1999;153:254–260. doi: 10.1001/archpedi.153.3.254. [DOI] [PMC free article] [PubMed] [Google Scholar]

[B16] 16.Leiner MA, Balcazar H, Straus DC, Shirsat P, Handal G. Screening Mexicans for psychosocial and behavioral problems during pediatric consultation. Rev Invest Clin. 2007;59:116–123. [PubMed] [Google Scholar]

[B17] 17.Thun-Hohenstein L, Herzog S. The predictive value of the pediatric symptom checklist in 5-year-old Austrian children. Eur J Pediatr. 2008;167:323–329. doi: 10.1007/s00431-007-0494-z. [DOI] [PubMed] [Google Scholar]

[B18] 18.Murphy JM, Arnett HL, Bishop SJ, Jellinek MS, Reede JY. Screening for psychosocial dysfunction in pediatric practice. A naturalistic study of the Pediatric Symptom Checklist. Clin Pediatr (Phila) 1992;31:660–667. doi: 10.1177/000992289203101104. [DOI] [PubMed] [Google Scholar]

PERMALINK

Evaluation of the Pediatric Symptom Checklist as a screening tool for the identification of emotional and psychosocial problems

Evaluación del uso de la Lista de Síntomas Pediátricos como instrumento de rastreo para identificar problemas emocionales y psicosociales

Sandra Regina B Muzzolon

Mônica Nunes L Cat

Lúcia Helena C dos Santos

Abstract

OBJECTIVE

METHODS

RESULTS

CONCLUSIONS