Skip to main content
Arquivos Brasileiros de Cardiologia logoLink to Arquivos Brasileiros de Cardiologia
editorial
. 2022 Nov 9;119(5 Suppl 1):1–3. [Article in Portuguese] doi: 10.36660/abc.20220434
View full-text in English

Desafios e Oportunidades para o Desenvolvimento da Pesquisa em Educação Médica

Sílvia Mamede 1
PMCID: PMC9750198  PMID: 36449951

O ano era 1747. Médico de bordo do Salisbury, Dr. James Lindt, consternado com o elevado número de mortes por escorbuto entre os marinheiros, planejou e conduziu um estudo comparando diferentes abordagens terapêuticas. Descrito em seu “Tratado sobre escorbuto”, publicado em Edimburgo em 1753, o estudo é considerado o primeiro ensaio clínico controlado da era moderna. 1 Mas a história vai muito mais longe. Obviamente sem os requisitos de um ensaio clínico controlado, o experimento conduzido no reinado de Nabucodonosor nos anos 500 AC na Babilônia, é citado como o primeiro registro de um estudo médico que guiou uma decisão de saúde pública. Uma dieta “herbívora” foi autorizada quando, contrariando o que achava o rei, mostrou mais benefícios do que sua preferida alternativa “carnívora”. 1

O ano era 1926. É lançado o Journal of the Association of American Medical Colleges (hoje Academic Medicine ), descrito à época por Fred Zapffe, seu editor, como “a única publicação científica do seu tipo no mundo – um periódico dedicado à educação médica e pedagogia”. Três décadas depois, surgiram os primeiros departamentos de educação médica em universidades americanas, onde muitos veem as origens da pesquisa na área. 2 Diante da longa história da pesquisa clínica, a pesquisa em educação médica pode ser vista como recém-nascida. Nos seus poucos anos de vida, seu desenvolvimento tem sido notável. O número de periódicos em educação médica multiplicou-se. O Science Citation Index traz 19 e a lista cresce a cada ano. Cresceu substancialmente o número de submissões de artigos científicos a esses periódicos. Por exemplo, nos primeiros 5 anos após sua fundação em 1996, Advances in Health Sciences Education recebeu um total de 78 submissões. Só no ano de 2019, o número de submissões foi de 750. 2

Há também avanços mais difíceis de quantificar. Parece haver uma mudança de visão em curso. Tempos atrás – e, na verdade, ainda hoje em muitos locais – as decisões educacionais nas escolas médicas, por exemplo quanto à adoção de um método de ensino, eram tomadas com base na opinião de lideranças que detinham mais poder de persuasão, muitas vezes sob a influência de modismos ou posições políticas. Não se falava em evidências. Preponderava a visão de que o senso comum bastava para orientar essas decisões. O passar dos anos e a evolução da pesquisa em educação médica vêm deixando claro que as coisas não são assim. Ideias que pareciam razoáveis ao senso comum e foram adotadas, às vezes em larga escala e para decisões tão importantes quanto exames de certificação, foram abandonadas subsequentemente porque não sobreviveram ao teste da pesquisa empírica. 3 Isso é um bom sinal. O abandono de ideias que vêm a mostrar não ter suporte empírico ou a mudança do foco da pesquisa ao longo do tempo são sinais de vida da produção científica no campo. É preciso que evidências se acumulem para que isso aconteça. Falo de evidências aqui no sentido amplo, como um acúmulo de informações empíricas sobre um determinado tópico, e não simplesmente uma “prova” de que uma intervenção “funcionou”. E uma mudança de visão no sentido de se pressupor que, assim como as decisões clínicas, as decisões educacionais precisam de uma base empírica, nesse sentido amplo, ainda que incipiente, abre portas para o desenvolvimento da pesquisa em educação.

Como promover esse desenvolvimento é um tema recorrente de discussão nos periódicos na área na literatura internacional. Como seria de esperar, há diferentes perspectivas, diferentes olhares sobre o problema. 4 - 6 A discussão a seguir é em parte orientada por essa literatura, mas representa uma posição pessoal sobre condições que me parecem mais importantes para promover o progresso científico em nosso campo e algumas ideias sobre como elas poderiam ser viabilizadas.

Uma primeira condição crítica para progredir diz respeito ao propósito e ao tipo de pesquisa que é preciso priorizar. Universidades com departamentos de pesquisa em educação médica consolidados destacam-se nas revisões da produtividade científica. 7 Esses departamentos contam com pesquisadores e estudantes de doutorado dedicados ao campo da educação médica, muitos oriundos de outras áreas além da medicina, o que permite articular teorias, modelos e métodos de pesquisa próprios de diferentes disciplinas. 3 , 8 São departamentos com uma estrutura de suporte à pesquisa e longa tradição de produção científica. Mas tais departamentos são, acredito, a exceção e não a regra. Grande parte da pesquisa em educação médica é conduzida por professores de ciências básicas ou clínicas motivados pelo interesse em educação e/ou em produção científica para progressão acadêmica. Esses professores têm um treinamento formal em pesquisa em educação limitado, quando o têm, um domínio restrito da literatura na área e pouco tempo disponível para investir em suprir essas limitações. A tendência então é realizar estudos pontuais, que acabam em si mesmos. Um professor que introduziu uma nova forma de ensinar um determinado tópico, por exemplo, quer investigar se o novo método “funcionou”. Tudo isso é muito válido, mas é preciso que essa investigação parta do estudo da literatura existente, tenha uma base teórica, esteja inserida numa estrutura conceitual. Isso é fundamental não só para evitar o desperdício de esforços ocorrido, por exemplo, quando se repete o que já foi feito, como para fazer avançar o conhecimento no campo da educação médica. Descobertas que tenham um potencial de produzir mudanças raramente são fruto de um estudo isolado. É preciso uma série de estudos relacionados entre si, que “conversem” com estudos anteriores e construam sobre eles para que se possa avançar na compreensão de um determinado tema. É preciso articular estudos observacionais (por exemplo, a descrição de uma nova intervenção educacional) e estudos que visam testar hipóteses e modelos ou entender como e por que eles funcionam (ou não) para ampliar nosso entendimento do processo de ensino-aprendizagem e direcionar não só a prática, mas a pesquisa em educação. 3 , 4 , 8 Essas séries de estudos são sempre resultado do esforço coletivo de diversos grupos e centros ao longo dos tempos. Sempre vai haver questões específicas locais que vale a pena investigar, mas visualizar como este estudo se insere nesse esforço coletivo é essencial para fazer com que ele de fato compense o esforço.

Uma segunda condição essencial é o compromisso com a qualidade metodológica da pesquisa em educação médica. E evito me referir à “melhoria”, porque acho, como muitos, que há pesquisa de elevada qualidade na área. 9 , 10 No entanto, são frequentes críticas à qualidade metodológica da pesquisa, usualmente baseadas no pressuposto de que ela utiliza métodos que seriam “inferiores” àqueles utilizados na pesquisa clínica. 5 , 11 Por exemplo, se ensaios clínicos controlados randomizados são considerados o padrão ouro na pesquisa para avaliação de uma intervenção terapêutica, então deveríamos estar conduzindo ensaios similares para avaliar a efetividade de um novo curso ou um novo programa. Essa posição, a meu ver, não reconhece que a pesquisa em educação médica tem características próprias que a diferenciam da pesquisa clínica. 6 , 9 , 10 Enquanto há, por exemplo, uma segurança razoável quanto ao uso da medicação (ou do placebo) em um ensaio clínico, se (ou quanto, ou como) o “tratamento” foi administrado ao estudante é algo basicamente impossível de controlar. Não se pode estandardizar as “doses” de um curso. Cada um deles consiste, na verdade, em vários elementos, conduzidos por professores diversos, cada um deles com suas características e capacidade próprias. Não é à toa que tais experimentos de grande porte para avaliar currículos inteiros, já foram denominados, numa paródia da sigla em inglês RCT, “ Results Confounded and Trivial ”. 12 A complexidade inerente ao processo e, consequentemente, à pesquisa educacional, não implica que a pesquisa experimental não tem lugar na educação médica. Na verdade, tem um lugar crucial. O conhecimento que temos hoje em muitas áreas da educação médica foi produzido ao longo dos anos pelo acúmulo de resultados de estudos experimentais de pequeno porte, construídos sobre uma base teórica sobre aquele tema específico, muito bem controlados, conduzidos usualmente em condições laboratoriais, replicados várias vezes para uma variação sistemática dos fatores envolvidos. 2 - 4 O que é fundamental, acredito, é entender que alta qualidade metodológica não significa aderir a um determinado tipo de estudo, mas sim buscar métodos que melhor possibilitem examinar o fenômeno em pauta e assumir o compromisso com o máximo rigor em seu uso. É muito provável que a investigação de um fenômeno complexo como costumam ser os fenômenos educacionais demande uma combinação de diferentes métodos de pesquisa, muitas vezes próprios de diferentes disciplinas. Sejam quais forem o desenho e método de pesquisa apropriados, precisamos encontrar maneiras de assegurar que eles obedeçam aos padrões mais elevados para pô-los em prática.

Orientar os esforços para conduzir esse tipo de pesquisa – uma pesquisa fundamentada em uma base teórica e orientada para sua ampliação e de elevada qualidade metodológica - é visto por muitos como crucial para o desenvolvimento científico do campo. Não é fácil viabilizar esse tipo de pesquisa. É preciso domínio substancial da literatura sobre um determinado tema para se apropriar de estruturas conceituais e identificar lacunas, questões que demandam investigar. É preciso dominar os desenhos e métodos de pesquisa que permitem abordar tais questões. É provável que apenas uns poucos dentre aqueles que se interessam pela pesquisa em educação médica nas nossas faculdades venham a optar por dedicar o tempo e o esforço que seriam necessários para adquirirem tal domínio. A articulação de duas linhas de ação pode, acredito, ajudar. A primeira seria dar a esses interessados em se dedicarem de forma mais intensa à pesquisa em educação médica a oportunidade de desenvolverem a expertise necessária, formando, ao longo do tempo, um núcleo de pesquisadores que possa orientar, apoiar e assegurar a qualidade da pesquisa no seu contexto. A segunda seria ampliar o suporte disponível para o grupo bem maior de docentes que tem interesse em realizar pesquisa em educação, mas não como principal objeto de sua atividade profissional.

Relatos de experiências internacionais sugerem algumas iniciativas que podem ajudar nos dois sentidos. 3 Uma palavra-chave parece ser “cooperação”. A articulação com universidades que possuem programas acreditados de mestrado e doutorado em educação médica, com uma produção científica reconhecida, é fundamental para viabilizar a formação de professores que venham a se dedicar à pesquisa na área como atividade principal. Um treinamento formal mais avançado é necessário para formar uma “massa crítica de cientistas” que a experiência mostra ser um fator crítico para o desenvolvimento do campo. 13 Várias universidades atualmente oferecem programas de boa qualidade, inclusive em formato híbrido, que poderiam potencialmente ser viabilizados utilizando os esquemas usuais de suporte à pós-graduação. Em nível local, a articulação com outras faculdades e centros na própria universidade pode ajudar a abrir a possibilidade de atrair profissionais de outras disciplinas, por exemplo, das faculdades de ciências sociais, com conhecimento e experiência, inclusive em relação a métodos de pesquisa, carentes na própria instituição. 8 A cooperação entre diversas instituições tanto em nível local como internacional pode ajudar também a ampliar a estrutura de suporte à pesquisa, agregando esforços e recursos, por exemplo, para a oferta de cursos de menor duração para um amplo grupo de docentes. Para finalizar, a iniciativa louvável deste suplemento dos Arquivos Brasileiros de Cardiologia (ABC Cardiol) chama atenção para o papel que as sociedades médicas podem exercer nesse processo. A credibilidade e a influência na comunidade profissional e na sociedade as credenciam para isso. Iniciativas bem sucedidas existem em que uma sociedade médica foi um parceiro importante no esforço para alavancar a capacidade de pesquisa na área. 14 Defender a importância da pesquisa em educação médica, fomentar a discussão de estratégias para seu desenvolvimento e articular a cooperação entre diversas instituições que, tanto no contexto nacional como internacional, podem ampliar a capacidade de pesquisa existente e podem certamente contribuir para promover o progresso científico na área.

Referências

  • 1.Collier R. Legumes, lemons and streptomycin: a short history of the clinical trial. CMAJ. 2009;180(1):23–24. doi: 10.1503/cmaj.081879. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 2.Norman G. Where we’ve come from, where we might go. Adv Health Sci Educ Theory Pract. 2020;25(5):1191–1201. doi: 10.1007/s10459-020-10018-7. [DOI] [PubMed] [Google Scholar]
  • 3.Norman G. Fifty years of medical education research: waves of migration. Med Educ. 2011;45(8):785–791. doi: 10.1111/j.1365-2923.2010.03921.x. [DOI] [PubMed] [Google Scholar]
  • 4.Cook DA, Bordage G, Schmidt HG. Description, justification and clarification: a framework for classifying the purposes of research in medical education. Med Educ. 2008;42(2):128–133. doi: 10.1111/j.1365-2923.2007.02974.x. [DOI] [PubMed] [Google Scholar]
  • 5.Davis MH, Ponnamperuma GG. Medical education research at the crossroads. Lancet. 2006;367(9508):377–378. doi: 10.1016/S0140-6736(06)68116-6. [DOI] [PubMed] [Google Scholar]
  • 6.Norman G. Research in medical education: three decades of progress. BMJ. 2002;324(7353):1560–1562. doi: 10.1136/bmj.324.7353.1560. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 7.Rotgans JI. The themes, institutions, and people of medical education research 1988-2010: content analysis of abstracts from six journals. Adv Health Sci Educ Theory Pract. 2012;17(4):515–527. doi: 10.1007/s10459-011-9328-x. PMID: 21971993. [DOI] [PubMed] [Google Scholar]
  • 8.Eva KW, Lingard L. What’s next? A guiding question for educators engaged in educational research. Med Educ. 2008;42(8):752–754. doi: 10.1111/j.1365-2923.2008.03135.x. [DOI] [PubMed] [Google Scholar]
  • 9.Eva KW. Broadening the debate about quality in medical education research. Med Educ. 2009;43(4):294–296. doi: 10.1111/j.1365-2923.2009.03342.x. [DOI] [PubMed] [Google Scholar]
  • 10.Norman G. Editorial - how bad is medical education research anyway? Adv Health Sci Educ Theory Pract. 2007;12(1):1–5. doi: 10.1007/s10459-006-9047-x. [DOI] [PubMed] [Google Scholar]
  • 11.Todres M, Stephenson A, Jones R. Medical education research remains the poor relation. BMJ. 2007;335(7615):333–335. doi: 10.1136/bmj.39253.544688.94. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 12.Norman G. RCT = results confounded and trivial: the perils of grand educational experiments. Med Educ. 2003;37(7):582–584. doi: 10.1046/j.1365-2923.2003.01586.x. [DOI] [PubMed] [Google Scholar]
  • 13.Humphrey-Murto S, O’Brien B, Irby DM, van der Vleuten C, Ten Cate O, Durning S, et al. 14 Years Later: A Follow-Up Case-Study Analysis of 8 Health Professions Education Scholarship Units. Acad Med. 2020;95(4):629–636. doi: 10.1097/ACM.0000000000003095. [DOI] [PubMed] [Google Scholar]
  • 14.Seehusen DA, Mainous AG, 3rd, Chessman AW. Creating a Centralized Infrastructure to Facilitate Medical Education Research. Ann Fam Med. 2018;16(3):257–260. doi: 10.1370/afm.2228. [DOI] [PMC free article] [PubMed] [Google Scholar]
Arq Bras Cardiol. 2022 Nov 9;119(5 Suppl 1):1–3. [Article in English]

Challenges and Opportunities for the Development of Medical Education Research

Sílvia Mamede 1

The year was 1747. The doctor on board the Salisbury, Dr. James Lindt, upset with the high number of deaths by scurvy among the mariners, planned and conducted a study comparing different therapeutic approaches. Described in his “Treatise of the Scurvy”, published in Edinburgh in 1753, his study is considered to be the first controlled clinical trial in the modern era.1 But the history goes even further. Clearly, without the requirements of a controlled clinical trial, the experiment, conducted during the reign of King Nebuchadnezzar in the years of 500 BC in Babylonia, is cited as the first record of a medical study that guided a public health decision. A “herbivorous” diet was authorized when, contradicting what the King believed, it showed more benefits than the preferred “carnivorous” alternative.1

The year was 1926. The Journal of the Association of American Medical Colleges (known today as Academic Medicine) was launched described at that time by Fred Zapffe, its editor, as “the only scientific publication of its type in the world – a journal dedicated to medical education and pedagogy.” Three decades later, the first departments of medical education emerged in American universities, which many believe to be the origins of medical research.2 In view of the long history of clinical research, medical education research can be seen as newborn. In its few years of life, its development has been quite remarkable. The number of journals on medical education have multiplied. The Science Citation Index offers 19 publications, and the list continues to grow each year. The number of scientific article submissions to these journals has also increased significantly. For example, in the first 5 years since its foundation in 1996, Advances in Health Sciences Education had received a total of 78 submissions. In 2019 alone, the number of submissions reached 750.2

There have also been advances that are more difficult to quantify. There appears to be a change in mentality taking place. Some time ago – and, in fact, still today in many places – the educational decisions in medical schools, as regards the adoption of a teaching method, for example, were made based on the opinion of department heads who had greater power of persuasion, often under the influence of fads or political positions. No one spoke of evidence. The view that prevailed was that common sense was enough to guide decisions. Over the years, and with the evolution in medical education research, it has become clear that this is not true. Ideas that seemed reasonable and were adopted, often in large scale and for decisions as important as certification exams, were subsequently abandoned because they were unable to survive the test of empirical evidence.3 This is a good sign. The abandonment of ideas that are proven to have no empirical support, or the change in focus of research over time, are clear signs of the life of scientific production in the field. For this to occur, evidence has to “accumulate”. I speak of evidence here in the broader sense, an accumulation of empirical evidence about a specific topic, and not merely “proof” that a given intervention “worked”. It represents a change in mentality in the sense of assuming that, much like the clinical decision, the educational decisions also require an empirical basis, in this broader sense. Even if in its incipient stage, it opens doors to the development of research in education.

How to promote this development is a recurring theme of debate in international medical journals. As expected, there are different perspectives, different views on the problem.4 - 6 The following discussion is partly guided by this literature, but it represents a personal position on the conditions that seem to me to be more important to promoting scientific progress in our field, along with some ideas about how this can be made possible.

One first critical condition necessary to advance on the issue concerns the purpose and the type of research to which it is necessary to give priority. Universities with departments dedicated to medical education research have stood out in reviews of scientific production.7 These departments have researchers and doctoral students dedicated to the medical education field, many from areas outside of medicine, which gives space for the exchange of theories, models, and methods from different disciplines.3 , 8 These are departments with a strong research support structure and a long tradition of scientific production. But this type of department is clearly the exception and not the rule. Most medical education research is conducted by professors from basic sciences or from clinics who are motivated by their interests in education and/or scientific production for academic promotion. These professors have limited formal training in education research, when they have any; a limited acquaintance with of the literature in the area; and little time available to invest in overcoming these limitations. The tendency is, therefore, to conduct occasional studies about their own work. A professor who introduced a new way to teach a specific topic, for example, may wish to investigate if this new method “works”. All of this is quite valid, but it is important for this type of investigation to begin with the study of the existing literature, to have a theoretical basis, and to be inserted in a conceptual structure. This is essential not only to avoid wasting time and effort, for example, when a person repeats what has already been done, but also to advance knowledge in the medical education field. Discoveries that have the potential to produce changes are rarely the result of an isolated study. What is important is a series of interconnected studies that “talk” with previous studies and build upon them so that progress can be made in understanding a given theme. It is important to connect observational studies (for example, the description of a new educational intervention) and studies that seek to test hypotheses and models or understand how and why they work (or not) in order to expand our understanding of the teaching-learning process and direct not only the practice, but also research in education.3 , 4 , 8 These series of studies are always the result of a collective effort from a diversity of groups and centers over time. There will always be specific local questions that are worth investigating; however, comprehending how this study fits within the collective effort is essential to making it truly worth the effort.

A second essential condition is that of commitment to the methodological quality of medical education research. And here I avoid referring to “improvements”, because I think, as many do, that there is high-quality research being conducted in the area.9 , 10 However, criticism of the research methodological quality is common, usually based on the assumption that it uses methods that would be “inferior” to those used in clinical research.5 , 11 For instance, if randomized controlled trials are considered the gold standard in research for the evaluation of a therapeutic intervention, then we should be conducting similar trials to evaluate the effectiveness of a new course or a new program. This position, from my point of view, does not recognize that medical education research has its own characteristics that differentiate it from clinical research.6 , 9 , 10 While there is, for example, a reasonable degree of certainty about the use of a medicine (or a placebo) in a clinical trial, if (or how much, or how) the “treatment” was administered to the student is something basically impossible to control. The “doses” of the course cannot be standardized. Each course consists, in fact, of various elements, conducted by a wide range of teachers, each with his/her own characteristics and skills. It is not by accident that this type of large-scale experiment to evaluate full curricula have become known, in the parody of the acronym in English, as RCT - “ Results Confounded and Trivial ”.12 The complexity inherent to the process and, consequently, to educational research, does not imply that experimental research has no place in medical education. In fact, it plays a crucial role. The knowledge we have today in many areas of medical education was produced over the years through the accumulation of small-scale experimental studies, built upon a theoretical foundation about that specific theme – highly controlled, usually conducted under laboratory conditions, and replicated many times to reach a systematic variation of the factors involved.2 - 4 What is of utmost importance, I believe, is understanding that a high methodological quality does not mean adhering to a specific type of study, but rather to search for methods that are more appropriate to examine the phenomenon in question and to assume the responsibility with their careful application. It is highly probable that the investigation of a complex phenomenon, as educational phenomena commonly are, demands a combination of different research methods, often brought from different disciplines. Whatever the most appropriate study design and method may be, we need to ensure that they comply with the highest of standards when putting them into practice.

Directing our efforts to conducting this type of research – research founded on a theoretical basis and oriented towards its expansion and with high level methodological quality – is seen by many as crucial to scientific development in the field. It is not easy to make this type of research possible. It requires a substantial mastery of the literature on a given theme so as to take advantage of the conceptual structures and identify gaps, questions that require investigation. It is important to master the study designs and methods that allow one to treat such questions. It is likely that only a few of those who are interested in medical education research within our universities will actually opt to dedicate the time and effort needed to acquire such mastery. Combining two lines of action can, I believe, help. The first would be to give researchers interested in dedicating themselves intensely to medical education research the opportunity to develop the necessary expertise, constructing, over time, a research group that can guide, support, and ensure the quality of the research in its context. The second would be to expand the support available to a much larger groups of faculty members who are interested in conducting research in the field of education, but not as the main focus of their professional work.

Reports of international experiences suggest some initiatives that can help in both directions.3 A key word seems to be “cooperation”. Connecting with universities that have accredited Masters and Ph.D. programs in medical education, with a well-recognized scientific production, is essential in order to enable the education of teachers who choose to dedicate themselves to research in the area as their main professional activity. A formal, more advanced training is necessary to create a “critical mass of scientists”, whose experience has proven to be a critical factor in the development of the field.13 Many universities currently offer high-quality programs, even in hybrid formats, which can potentially be made possible using the existing schemes for post-graduation support. At the local level, the interaction with other colleges and research centers in the university itself can help to open the door to the possibility of attracting other professionals from other disciplines, such as from the social sciences, with knowledge and experience regarding research methods that may be lacking within one’s own faculty.8 The cooperation between several institutions, both at the local and international levels, can also help to expand the research support structure, adding efforts and resources, including shorter-term courses for a larger group of faculty members. To conclude, this laudable initiative of this supplement of the journal Arquivos Brasileiros de Cardiologia (ABC Cardiol) calls attention to the role that medical societies can play in this process. The credibility and influence in the professional community and in society itself qualify these societies for this. Highly successful initiatives already exist in which a medical society became an important partner in the effort to boost research skills in the field.14 Defending the importance of medical education research, fostering the debate on strategies for its development, and formulating cooperation among a wide range of institutions, in both the national and the international contexts, can help expand existing research skills and clearly contribute to promoting scientific progress in the field.


Articles from Arquivos Brasileiros de Cardiologia are provided here courtesy of Sociedade Brasileira de Cardiologia

RESOURCES