Skip to main content
NCBI home page
Jornal Brasileiro de Pneumologia logoLink to Jornal Brasileiro de Pneumologia
. 2015 Nov-Dec;41(6):565–566. doi: 10.1590/S1806-37562015000000314
View full-text in Portuguese

Confidence intervals: a useful statistical tool to estimate effect sizes in the real world

Cecilia Maria Patino 1,2, Juliana Carvalho Ferreira 2,3
PMCID: PMC4723012  PMID: 26785970

PRACTICAL SCENARIO

A prospective cohort study evaluated the association between the presence of asthma and the risk of developing obstructive sleep apnea (OSA) in adults. Adults were randomly recruited from a population-based list of state employees and were followed for four years. Participants with asthma, when compared with those without, had a higher risk of developing OSA in four years (relative risk [RR] = 1.39; 95% CI: 1.06-1.82; p = 0.03)

BACKGROUND

When conducting clinical research, we usually recruit a subgroup of the population of interest in order to increase study efficiency (fewer costs and less time). This subgroup of individuals, thestudy population, are those individuals who meet the inclusion criteria and agree to participate in the study (Figure 1). We then complete the study and calculate an effect size (e.g., a mean difference or a relative risk) to answer our research question. This process (inference) involves using data collected from the study population to estimate the true effect size in the population of interest, i.e., the source population. In our example, investigators recruited a random sample of state employees (source population) who were eligible and agreed to participate in the study (study population) and reported that asthma increases the risk of developing OSA in the study population (RR = 1.39). To take into account a sampling error due to recruiting only a subgroup of the population of interest, they also calculated a 95% confidence interval (around the estimate) of 1.06-1.82, indicating a 95% probability that the true RR in the source population would be between 1.06 and 1.82.

Figure 1. Research populations.

Figure 1

Open in a new tab

DEFINITION

A confidence interval is a measure of imprecision of the true effect size in the population of interest (e.g., difference between two means or a relative risk) estimated in the study population. That imprecision is due to the sampling error caused by taking subsamples of the population of interest. However, the estimate calculated in the study population is always the best estimate of the effect size in the source population.

WHY DO WE NEED CONFIDENCE INTERVALS?

We need confidence intervals to indicate the amount of uncertainty or imprecision around the effect size calculated, using the study sample to estimate the true effect size in the source population. Calculating the confidence interval is a strategy that takes into account sampling error: the study effect size and its´ confidence interval represent plausible values for the source population, and the narrower the confidence interval is, the more certain we are that the estimate from the study population represents the true effect size in the source population.

CONFIDENCE INTERVALS: INTERESTING FACTS

The most common width of confidence intervals reported in the literature is the 95% confidence interval. However, if we are interested in more or less confidence, 90% or 99% confidence intervals can be used.

The confidence interval represents the uncertainty of the effect sizein the source population, not in the study population. When calculating a confidence interval, the width of the interval is determined by the sample size (i.e., the individuals who agreed to be studied), the amount of measurement error of the study, and the degree of confidence required.

There is a unique relationship between the 95% confidence interval and a two-sided 5% level of significance. When the 95% confidence interval for differences in effect does not include 0 for absolute measures of association (e.g., mean differences) or 1 for relative measures of association (e.g., odds ratios), it can be inferred that the association is statistically significant (p < 0.05). The advantage of the 95% confidence interval over the p value is that it provides information about the size of the effect, the uncertainty of the population estimate, and the direction of the effect.

Confidence intervals should always be used in order to describe the major findings of a research study. The relevant confidence intervals should be shown not only in the text of the paper but also in the abstract.

RECOMMENDED READING

  • 1.Teodorescu M, Barnet JH, Hagen EW, Palta M, Young TB, Peppard PE. Association between asthma and risk of developing obstructive sleep apnea. JAMA. 2015;313(2):156–164. doi: 10.1001/jama.2014.17822. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 2.Sedgwick P. Understanding confidence intervals. BMJ. 2014;349:g6051–g6051. doi: 10.1136/bmj.g6051. [DOI] [PubMed] [Google Scholar]
  • 3.Sedgwick P. Confidence intervals: predicting uncertainty. BMJ. 2012;344: doi: 10.1136/bmj.e3147. [DOI] [Google Scholar]
  • 4.Ferreira JC, Patino CM. What does the p value really mean? J Bras Pneumol. 2015;41(5):485–485. doi: 10.1590/S1806-37132015000000215. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 5.Gardner MJ, Altman DG. British Medical Journal. Belfast: The Universities Press Ltd; 1989. Statistics with confidence:confidence intervals and statistical guidelines. [Google Scholar]
J Bras Pneumol. 2015 Nov-Dec;41(6):565–566. [Article in Portuguese]

Intervalos de confiança: uma ferramenta útil para estimar o tamanho do efeito no mundo real

Cecilia Maria Patino 1,2, Juliana Carvalho Ferreira 2,3

CENÁRIO PRÁTICO

Um estudo prospectivo de coorte avaliou a associação entre a presença de asma e o risco de apneia obstrutiva do sono (AOS) em adultos. Os adultos foram recrutados aleatoriamente a partir de uma lista de base populacional de funcionários estatais e foram acompanhados durante quatro anos. O risco de apresentar AOS em quatro anos foi maior nos participantes com asma do que naqueles sem a doença (risco relativo [RR]: 1,39; IC95%: 1,06-1,82; p = 0,03).

CONTEXTO

Quando realizamos um estudo clínico, geralmente recrutamos um subgrupo de nossa população de interesse para aumentar a eficiência do estudo (menos custo e tempo). Esse subgrupo, a população de estudo, consiste em indivíduos que preenchem os critérios de inclusão e aceitam participar do estudo (Figura 1). Em seguida, concluímos o estudo e calculamos o tamanho do efeito (a diferença de médias ou o risco relativo, por exemplo) para responder à pergunta do estudo. Esse processo (inferência) implica o uso de dados extraídos da população de estudo para estimar o verdadeiro tamanho do efeito na população de interesse, isto é, a população de origem. Em nosso exemplo, os investigadores recrutaram uma amostra aleatória de funcionários estatais (população de origem) que estavam aptos a participar do estudo e aceitaram fazê-lo (população de estudo) e relataram que a asma aumenta o risco de desenvolvimento de AOS na população de estudo (RR = 1,39). Além disso, para que se leve em conta o erro amostral em virtude do recrutamento de apenas um subgrupo da população de interesse, os investigadores calcularam o intervalo de confiança de 95% (em torno da estimativa) de 1,06-1,82, que indica uma probabilidade de 95% de que o verdadeiro RR na população de origem estivesse entre 1,06 e 1,82.

Figura 1. Populações de pesquisa.

Figura 1

Open in a new tab

DEFINIÇÃO

Um intervalo de confiança é uma medida de imprecisão do verdadeiro tamanho do efeito na população de interesse (diferença entre duas médias ou risco relativo, por exemplo) estimado na população de estudo. Essa imprecisão ocorre em virtude do erro amostral causado pela subamostragem da população de interesse. No entanto, a estimativa calculada na população de estudo é sempre a melhor estimativa do tamanho do efeito na população de origem.

POR QUE PRECISAMOS DE INTERVALOS DE CONFIANÇA?

Precisamos do intervalo de confiança para indicar a incerteza ou imprecisão acerca do tamanho do efeito calculado usando a amostra de estudo para estimar o verdadeiro tamanho do efeito na população de origem. Calcular o intervalo de confiança é uma estratégia que leva em conta o erro amostral: o tamanho do efeito e seu intervalo de confiança representam valores plausíveis para a população de origem, e quanto mais estreito é o intervalo de confiança, maior é a certeza de que a estimativa baseada na população de estudo representa o verdadeiro tamanho do efeito na população de origem.

INTERVALOS DE CONFIANÇA: FATOS INTERESSANTES

O intervalo de confiança de 95% é o mais comum dos intervalos relatados na literatura. No entanto, é possível usar intervalos de confiança de 90% ou 99% caso se deseje mais ou menos confiança.

O intervalo de confiança representa a incerteza do tamanho do efeito na população de origem, e não na população de estudo.

Quando se calcula um intervalo de confiança, o tamanho do intervalo é determinado pelo tamanho da amostra, (isto é, aqueles que aceitaram participar do estudo), pelo erro técnico de medida do estudo e pelo grau de confiança necessário.

Existe uma relação única entre o intervalo de confiança de 95% e um nível de significância bicaudal de 5%. Quando o intervalo de confiança de 95% para diferenças de efeito não inclui 0 para medidas de associação absolutas (diferenças de médias, por exemplo) ou 1 para medidas de associação relativas (razões de chances, por exemplo), pode-se inferir que a associação é estatisticamente significativa (p < 0,05). A vantagem do intervalo de confiança de 95% sobre o valor de p é que o intervalo de confiança de 95% fornece informações sobre o tamanho do efeito, a incerteza da estimativa na população e a direção do efeito.

Deve-se sempre usar o intervalo de confiança para descrever achados importantes de uma pesquisa. Os intervalos de confiança relevantes devem ser mostrados tanto no corpo do manuscrito como no resumo.

Articles from Jornal Brasileiro de Pneumologia are provided here courtesy of Sociedade Brasileira de Pneumologia e Tisiologia (Brazilian Thoracic Society)

RESOURCES