Skip to main content
Arquivos Brasileiros de Cardiologia logoLink to Arquivos Brasileiros de Cardiologia
editorial
. 2020 May 12;114(4):613–615. [Article in Portuguese] doi: 10.36660/abc.20200249
View full-text in English

Como Saber se uma Mudança é uma melhoria? O (Não Tão) Novo Conhecimento Científico que todo Médico deve Aprender, Dominar e Liderar

Alexandre Siciliano Colafranceschi 1,2,3
PMCID: PMC9744339  PMID: 32491017

Os cirurgiões cardiotorácicos têm uma rica história de melhora da qualidade e um forte caráter de transparência e inovação, permitindo a rápida difusão de padrões, técnicas e referências em todo o mundo. A nível nacional, poucas especialidades médicas contribuíram tanto para o desenvolvimento do conhecimento quanto a cirurgia cardíaca brasileira. Desde o trabalho intenso desenvolvido por décadas por cirurgiões pioneiros como Euryclides Zerbini e Adib Jatene até os líderes mais contemporâneos da área, o Instituto do Coração do Hospital das Clínicas da Faculdade de Medicina da Universidade de São Paulo – InCor – está definitivamente no coração desta jornada.1 Nesta edição da Arquivos Brasileiros de Cardiologia, o trabalho de Mejia et al,.2 tem o mérito de levar em consideração a evolução do número de cirurgias cardiovasculares realizadas no InCor durante um período de 35 anos. O número total é notável: foram analisados mais de 100.000 procedimentos de coração aberto. Afinal, o número médio de procedimentos/ano é 2.964, – ou mais de 11 procedimentos por dia de trabalho. Destaca-se o fato de o número total de procedimentos estar aumentando, principalmente devido ao aumento das cirurgias valvares e à correção das cardiopatias congênitas. Além disso, há uma redução de 7% no volume de cirurgias de revascularização do miocárdio no mais recente período estudado.

Além de descrever o volume de procedimentos cirúrgicos de diferentes doenças cardiovasculares ao longo de cinco períodos diferentes durante os 35 anos de dados, outro objetivo do estudo de Mejia et al.,2 foi avaliar o impacto das ações realizadas de um programa de melhoria contínua da qualidade na mortalidade por cirurgia cardiovascular. Não está claro, no entanto, como os períodos foram selecionados para as análises.

A iniciativa de melhora da qualidade no InCor, denominada “Programa de Melhora Contínua da Qualidade” (PMCQ), foi consolidada em 2016 com uma clara missão de diminuir a mortalidade cirúrgica operatória cardiovascular. Ela faz parte da Unidade Cirúrgica de Qualidade e Segurança do Paciente Cirúrgico (UCQSP) como um departamento da Divisão Cirúrgica Cardiovascular do InCor. De acordo com os autores, esta unidade visa apoiar a construção da cultura de segurança, promover a transparência, padronizar o treinamento, melhorar o trabalho das equipes e monitorar o desempenho cirúrgico.2

Quando o InCor visa apoiar a construção de uma cultura de segurança, fica claro que eles estão na direção certa. Como afirma Robert Lloyd,3 vice-presidente do Institute for Healthcare Improvement , “Qualidade” não é um departamento. Uma organização só fará melhoras significativas e sustentáveis quando as pessoas em todos os níveis sentirem um desejo e uma responsabilidade compartilhados para melhorar processos e resultados todos os dias.

Após a análise dos dados, os autores concluíram que houve uma diminuição significativa da mortalidade operatória (mais próxima dos padrões internacionais) nos grupos estudados após a implementação do programa de melhora da qualidade no InCor. A questão que permanece é, como sabemos que as alterações feitas após a consolidação do PMCQ resultaram em uma melhoria na mortalidade cirúrgica?

Dirigir esforços na coleta, análise e aplicação de dados dos resultados cirúrgicos a fim de melhorar a qualidade e reavaliar condutas e procedimentos é fundamental para as iniciativas de melhora da qualidade. Entretanto, misturar medidas de prestação de contas ou pesquisa com medidas de melhora é contraproducente.4

Os conceitos modernos de Melhora de Qualidade (QI, Quality Improvement ) tiveram sua origem nas medidas do Controle Estatístico de Processo (CEP), desenvolvidas por Walter Shewart na década de 1920. O casamento dessas técnicas com uma filosofia de gerenciamento geral de Edwards Deming, Joseph Juran e outros resultou no movimento da qualidade, conhecido por vários termos e acrônimos (TQM - Total Quality Management, CQI - Continuous Quality Improvement , etc.). Embora tenham chegado mais tarde à área de cuidados médicos do que em outros campos, os conceitos de QI proliferaram rapidamente aqui através dos esforços de Berwick e outros.5

A melhora da qualidade requer o uso de dados para aprender e prever o desempenho futuro (em oposição ao que aconteceu no passado, conforme revelado pelos dados de prestação de contas e pesquisa). Em relação à melhora, é fundamental entender que todo processo tem uma variação inerente que se deseja entender. A compreensão dos termos processo e variação, além de desenvolver o pensamento do processo, é fundamental para entender como melhorar alguma coisa.

O cuidado cirúrgico cardiotorácico contemporâneo é um processo complexo, envolvendo técnicas e equipamentos sofisticados, profissionais de saúde com níveis variados de capacidade e pacientes de alto risco. Os cirurgiões trabalham em ambientes críticos de segurança, onde a complexidade do cuidado e os fatores de risco dos pacientes aumentam exponencialmente o potencial para danos significativos. O sistema projetado de cuidado a pacientes cirúrgicos fornece resultados que variam ao longo do tempo, independentemente de serem bem-sucedidos ou não. Como seres humanos e sistemas mal projetados são vulneráveis a erros, uma avaliação crítica de nossos sistemas de cuidado é essencial para que a melhora continue.6

A variação em uma medida de qualidade pode resultar de causas comuns –causas esperadas que são inerentes ao sistema. Também pode ser derivada de causas especiais – causas não naturais que não fazem parte do sistema, mas surgem devido a circunstâncias específicas.

Existem muitas maneiras de apresentar e analisar dados. Para os esforços de melhoria, um gráfico de controle ( Figura1 ) ajuda a distinguir entre causas comuns e especiais de variação. Ele inclui um limite de controle superior e um de controle inferior marcado acima e abaixo da linha média. Variações dentro desses limites são esperadas e atribuídas a causas comuns; a variação além desses limites sugere causas especiais.7

Figura 1. Gráfico P de morte operatória. Dados obtidos das tabelas 1 e 2 do manuscrito original. A linha média está em verde. Os limites de controle superior e inferior estão em vermelho. Os pontos representam o índice de óbito operatório para o período especificado. Os pontos são conectados em uma linha preta que mostra variação. A morte operatória no período 4 está além do limite superior de controle (como marcado em um círculo vermelho), sugerindo uma causa especial no processo de cuidado nesse período de coleta de dados.

Figura 1

Em um sistema estável, apenas causas comuns afetam os resultados. A variação é previsível dentro dos limites estatisticamente estabelecidos. Em contraste, em um sistema instável, os resultados são afetados por causas comuns e causas especiais. Nesse caso, a variação é imprevisível. Se o processo é estável e a variação é previsível, é possível prever o resultado futuro para o sistema que está sendo observado em tempo real, o que o torna adequado para os esforços de melhoria. Os gráficos de controle também podem ser utilizados para identificar sinais precoces de sucesso em um projeto de melhoria e monitorar um processo para garantir que ele esteja mantendo os ganhos advindos de um esforço de melhora da qualidade. Como um gráfico de execução , ajuda a determinar se as alterações feitas estão levando a melhoras. O ponto aqui é que os esforços de melhoria só podem ser feitos em sistemas estáveis.7

Os dados extraídos do manuscrito original em suas tabelas 1 e 2 (volume total de procedimentos e índice total de óbitos operatórios ao longo de diferentes períodos de tempo) foram utilizados para criar um gráfico de controle, como na Figura 1 . As técnicas de controle estatístico de processo (CEP) oferecem um papel eficaz no monitoramento do desempenho hospitalar, como taxa de mortalidade.6 De acordo com essa análise, o sistema sendo utilizado para esforços de melhoria no trabalho de Mejia et al.,2 é um sistema instável e o resultado (morte operatória) é afetado por causas comuns e especiais. Como a variação é imprevisível em um sistema instável, as alterações do PMCQ no InCor não podem ser atribuídas à melhora na mortalidade operatória total do período 4 para o período 5. De fato, utilizando a metodologia CEP, não há diferença na mortalidade operatória entre os períodos 1, 2,3 e 5. A mortalidade operatória no InCor tem variado próximo aos padrões internacionais desde que começaram a coletar esses dados. Uma causa especial no período 4 aumentou a mortalidade operatória além do limite superior de controle, o que a tornou estatisticamente diferente do período 5, quando métodos estatísticos de pesquisa foram utilizados para analisar um esforço de melhoria.

As organizações de saúde utilizam os dados para entender seu desempenho – embora nem sempre o façam com eficácia.4 É importante observar que a equipe de melhoria da qualidade vizualiza e busca utilizar dados referentes à variação nos processos de assistência à saúde de maneira diferente daquela dos pesquisadores de serviços de saúde. Onde a melhoria da qualidade prática e em tempo real é a meta, a própria variação precisa ser examinada em tempo real para responder às perguntas: 1- Estamos melhorando? E 2- Onde podemos melhorar?4 Assim, os dados de desempenho “ just-in-time ” são essenciais para o uso efetivo dos dados de variação, e o foco está na criação de processos estáveis e no aprendizado de variações por causas especiais. Por outro lado, os pesquisadores de serviços de saúde levantam a questão: A causa B? (se as outras coisas forem iguais), muitas vezes considerando a visão de longo prazo para examinar dados de vários anos e buscando eliminar variações de causas especiais e testar a significância.8 Essas diferentes perspectivas podem levar administradores e pesquisadores da saúde a olharem para os mesmos resultados e chegarem a conclusões muito diferentes sobre sua significância e as ações que devem ser tomadas em resposta.4

Aprender rapidamente com os erros faz parte das teorias da melhoria e, embora não tenha sido comprovada a melhora na mortalidade operatória atribuída às ações tomadas após a consolidação do PMCQ, o esforço contínuo de melhoria da qualidade no InCor está longe de ser malsucedido. A iniciativa do PMCQ no InCor deve ser seguida por outros. O InCor não apenas foi pioneiro e dominou a academia de cirurgia cardíaca no país. Sua liderança no campo continua a mudar nossas próprias perspectivas sobre o que significa ser um cirurgião cardíaco contemporâneo dentro de um sistema. O InCor está nos ajudando a refletir sobre a visão tradicional de que os resultados dos pacientes estão relacionados apenas à habilidade técnica do cirurgião para uma estrutura em evolução e mais ampla, na qual os resultados da assistência à saúde são afetados por uma infinidade de fatores em processos e ambiente altamente integrados e complexos. Como médicos (e cirurgiões) estão envolvidos em quase todos os processos importantes de assistência à saúde, é um desperdício tentar melhorar os processos de assistência à saúde sem eles.5 Ainda é necessário que o cirurgião aprenda, domine e lidere a incorporação de novas tecnologias e as habilidades técnicas para cuidar dos pacientes. Contemporaneamente, entretanto, isso não é suficiente para melhorar os resultados. Chegou a hora dos cirurgiões cardiotorácicos (e de todos os médicos) refletirem sobre seus próprios propósitos pessoais de serem profissionais de saúde e aprenderem, dominarem e liderarem o (não tão) novo conhecimento científico para melhoria dos processos assistenciais dos pacientes.

Footnotes

Minieditorial referente ao artigo: Análise de >100.000 Cirurgias Cardiovasculares Realizadas no Instituto do Coração e a Nova Era com Foco nos Resultados

Referências

  • 1.Braile D, Gomes CJ. Evolution of cardiovascular surgery: the Brazilian saga. A history of work, pioneering experience and success. Arq Bras Cardiol. 2010;94(2):151–152. doi: 10.1590/s0066-782x2010000200002. [DOI] [PubMed] [Google Scholar]
  • 2.Mejia OAV, Lisboa LAF, Caneo FF, Arita E T, Brandão CMA, Dias RR, et al. Análise de >100.000 cirurgias cardiovasculares realizadas no Instituto do Coração e a nova era com foco nos resultados. Arq Bras Cardiol. 2020;114(4):603–612. [Google Scholar]
  • 3.Solberg LI, Mosser G, McDonald S. The Three Faces of Performance Measurement: Improvement, Accountability, and Research. The Joint Commission Journal on Quality Improvement. 23(3):135–147. doi: 10.1016/s1070-3241(16)30305-4. 19(7. [DOI] [PubMed] [Google Scholar]
  • 4.Berwick DM. Continuous improvement as an ideal in health care. N Engl J Med. 1989;320(1):53–56. doi: 10.1056/NEJM198901053200110. [DOI] [PubMed] [Google Scholar]
  • 5.Sanchez JÁ, Ferdinand FD, Fann JI. Patient Safety in Cardiothoracic Surgery. An Overview. Ann Thorac Surg. 2016;101(2):426–433. doi: 10.1016/j.athoracsur.2015.12.034. [DOI] [PubMed] [Google Scholar]
  • 6.Suman GS, Prajapati D. Control chart applications in healthcare: a literature review. Int J Metrol Qual Eng. 2018;9(5):1–21. [Google Scholar]
  • 7.Neuhauser D, Provost L, Bergman B. The meaning of variation to healthcare managers, clinical and health-services researchers, and individual patients. BMJ Qual Saf. 2011 Apr;20(Suppl 1):i36–i40. doi: 10.1136/bmjqs.2010.046334. [DOI] [PMC free article] [PubMed] [Google Scholar]
Arq Bras Cardiol. 2020 May 12;114(4):613–615. [Article in English]

How Do We Know a Change is an Improvement? The (Not So) New Scientific Knowledge Every Physician Should Learn, Master and Lead

Alexandre Siciliano Colafranceschi 1,2,3

Cardiothoracic surgeons have a rich history of quality improvement and a strong ethos of transparency and innovation allowing for the rapid diffusion of standards, techniques, and benchmarks worldwide. Nationally, few medical specialties have contributed as much to the development of knowledge as the Brazilian cardiac surgery. From the hard work developed during decades by pioneering surgeons such as Euryclides Zerbini and Adib Jatene to the most contemporaneous leaders in the field, the Instituto do Coração do Hospital das Clínicas da Faculdade de Medicina da Universidade de São Paulo – InCor – is definitely at the heart of this journey.1 In this issue of Arquivos Brasileiros de Cardiologia the work by Mejia et al.2 has the merit of taking into account the evolution of the number of cardiovascular surgeries performed at InCor during a 35-year period. The total number is a remarkable one: over 100,000 open heart procedures were analyzed. After all, the mean number of procedures/year is 2,964, - or more than 11 procedures per workday. It is noteworthy the fact that the total number of procedures has been increasing, especially due to an increase in valvular operations and the correction of congenital cardiopathies. Also, of note, there is a 7% decrease in coronary artery bypass graft surgery volume in the most recent period studied.

Besides describing the volume of disease-specific open-heart surgical procedures throughout five different periods of time over the 35 years of data, another objective of the study by Mejia et al.2 was to evaluate the impact of the actions taken from a continuous quality improvement program on mortality from cardiovascular surgery. It is not clear, however, how the periods of time were selected for the analyses.

The quality improvement initiative at InCor, called Programa de Melhoria Contínua da Qualidade (PMCQ), was consolidated in 2016 with a clear mission to decrease the cardiovascular surgical operative mortality. It is hosted at the Unidade Cirúrgica de Qualidade e Segurança do Paciente Cirúrgico (UCQSP) as a department of the Cardiovascular Surgical Division at InCor. According to the authors, this unit aims to support the construction of the safety culture, promote transparency, standardize training, improve the work of the teams and monitor the surgical performance.2

When InCor aims to support the construction of a safety culture, it is clear that they head toward the right direction. As stated by Robert Lloyd,3 Vice President at the Institute for Healthcare Improvement, “Quality” is not a department. An organization will only make meaningful and sustainable improvements when people at every level feel a shared desire and responsibility for making processes and outcomes better every day.

After analyzing the data, the authors concluded that there was a significant decrease in operative mortality (closer to international standards) in the studied groups after the implementation of the quality improvement program at InCor. The question that remains is how do we know that the changes made after the PMCQ consolidation resulted in an improvement in surgical mortality?

Directing efforts in collecting, analyzing and applying data of the surgical results in order to improve quality and reassess conducts and procedures is critical to quality improvement initiatives. Mixing accountability or research measures with those for improvement, however, is counterproductive.4

Modern Quality Improvement (QI) concepts had their origins in the Statistical Process Control (SPC) measurements developed by Walter Shewart in the 1920s. The marriage of those techniques with an overall management philosophy by Edwards Deming, Joseph Juran, and others has resulted in the quality movement as it is known through various terms and acronyms (TQM – Total Quality Management, CQI – Continuous Quality Improvement, and so on). Although arriving later in health care than in other fields, QI concepts have rapidly proliferated here through the efforts of Berwick and others.5

Quality improvement requires using data to learn and to predict future performance (as opposed to what happened in the past, as stated by accountability and research data). Regarding improvement, it is critical to understand that every process has an inherent variation that one wants to understand. Understanding the terms process and variation, besides developing process thinking, are fundamental to an understanding of how to improve anything.

Contemporary cardiothoracic surgical care is a complex process, involving sophisticated techniques and equipment, health care professionals with varying levels of skills, and high-risk patients. Surgeons work in a safety-critical environments where the complexity of care and the patients’ risk factors exponentially increase the potential for significant harm. The designed system of caring for surgical patients deliver outcomes that vary throughout time, irrespective of being successful or not. Because humans and poorly designed systems are vulnerable to error, a critical assessment of our systems of care is essential for improvement to continue.6

Variation in a quality measure may result from common causes — expected causes that are inherent to the system. It may also derive from special causes — unnatural causes that are not part of the system but arise due to specific circumstances.

There are many ways to present and analyze data. For improvement efforts, a control chart ( Figure 1 ) helps distinguish between special and common causes of variation. It includes an upper control limit and a lower control limit marked above and below the average line. Variation within these limits is expected and attributed to common causes; variation beyond these limits suggests special causes.7

Figure 1. P chart of operative death. Data obtained from tables 1 and 2 of the original manuscript. Average line is in green. Upper and lower control limits are in red. Dots represents the operative death index for the specified period of time. Dots are connected in a black line that shows variation. Operative death in period 4 is beyond the upper control limit (as marked in a red circle), suggesting a special cause in the process of caring within this period of data collection.

Figure 1

In a stable system, only common causes affect the outcomes. Variation is predictable within statistically established limits. By contrast, in an unstable system, outcomes are affected by both common causes and special causes. In this case, variation is unpredictable. If the process is stable and variation is predictable, one can foresee the future outcome for the system being observed in real-time, which makes it suitable for improvement efforts. Control charts can also be used to identify early signs of success in an improvement project and to monitor a process to ensure it is holding the gains from a quality improvement effort. Like a run chart it helps determine whether the changes made are leading to improvement. The point here is that improvement efforts can only be made in stable systems.7

Data driven from the original manuscript in its tables 1 and 2 (total volume of procedures and total operative death index throughout different periods of time) were used to build a control chart as in Figure 1 . Statistical process control (SPC) techniques have played an efficacious role in monitoring hospital performance, such as mortality rate.6 According to this analysis, the system being used for improvement efforts in the work by Mejia et al.2 is an unstable system and the outcome (operative death) is affected by both common and special causes. Since variation is unpredictable in an unstable system, the changes from PMCQ at InCor cannot be attributed to the improvement in total operative death from period 4 to period 5. In fact, using SPC methodology, there is no difference in operative mortality between periods 1,2,3 and 5. The operative mortality at InCor has been varying close to international standards since they started collecting these data. A special cause in period 4 increased the operative mortality beyond the upper control limit, which made it statistically different from period 5, when research statistical methods were used to analyze an improvement effort.

Health care organizations use data to understand their performance — although they do not always do so effectively.4 It is important to note that the quality improvement staff view and seek to use data regarding variation in healthcare processes differently from that of health services researchers. Where practical, real-time quality improvement is the goal, variation itself needs to be examined in real time to answer the questions: 1- Are we getting better? And 2- Where can we improve?4 Thus, “just-in-time” performance data are essential to the effective use of variation data, and the focus is on creating stable processes and learning from special-cause variation . In contrast, health services researchers pose the question, does A cause B (other things being equal?), often taking the long view to examine several years` worth of data and seeking to eliminate special-cause variation and test for significance.8These different perspectives can lead healthcare managers and researchers to look at the same results and reach very different conclusions about their significance and the actions that should be taken in response.4

Learning fast from mistakes is part of the improvement theories and although there was no proven improvement in operative mortality attributed to actions taken after PMCQ consolidation, the continuous quality improvement effort at InCor is far from being unsuccessful. The PMCQ initiative at InCor should be followed by others. InCor not only pioneered and mastered the open-heart surgical academy in the country. Its leadership in the field continues to change our own perspectives regarding what means to be a contemporary heart surgeon within a system. InCor is helping us reflect on the traditional view that patient outcomes are related only to the surgeon’s technical skill to an evolving and broader framework, wherein health care outcomes are affected by a multitude of factors in highly integrated and complex processes and environment. Since physicians (and surgeons) are involved in almost all-important health care processes, it is wasteful to try to improve health care processes without them.5 It is still required for a surgeon to learn, master and lead the current and new technology and technical skills to care for patients. Contemporarily, however, this is not sufficient to improve outcomes. It is time for cardiothoracic surgeons (and every physician) to reflect on their own personal purposes of being a healthcare professional and learn, master and lead the (not so) new scientific knowledge to improve patient outcomes.

Footnotes

Short Editorial related to the article: Analysis of >100,000 Cardiovascular Surgeries Performed at the Heart Institute and a New Era of Outcomes


Articles from Arquivos Brasileiros de Cardiologia are provided here courtesy of Sociedade Brasileira de Cardiologia

RESOURCES