Développement et mise à l’essai du Guide de rétroaction francophone pour l’observation directe des résidents en médecine familiale au Canada

Abstract

Background

There is no CanMEDS-FM-based milestone tool to guide feedback during direct observation (DO). We have developed a guide to support documentation of feedback for direct observation (DO) in Canadian family medicine (FM) programs.

Methods

The Guide was designed in three phases with the collaboration of five Canadian FM programs with at least a French-speaking teaching site: 1) literature review and needs assessment; 2) development of the DO Feedback Guide; 3) testing the Guide in a video simulation context with qualitative content analysis.

Results

Phase 1 demonstrated the need for a narrative guide aimed at 1) specifying mutual expectations according to the resident's level of training and the clinical context, 2) providing the supervisor with tools and structure in his observations 3) to facilitate documentation of feedback. Phase 2 made it possible to develop the Guide, in paper and electronic formats, meeting the needs identified. In phase 3, 15 supervisors used the guide for three levels of residence. The Guide was adjusted following this testing to recall the phases of the clinical encounter that were often forgotten during feedback (before consultation, diagnosis and follow-up), and to suggest types of formulation to be favored (stimulating questions, questions of clarification, reflections).

Conclusion

Based on evidence and a collaborative approach, this Guide will equip French-speaking Canadian supervisors and residents performing DO in family medicine.

Introduction

L’observation directe est une des stratégies essentielles pour documenter la rétroaction quotidienne et cumuler des évaluations de faibles enjeux dans les activités cliniques.^1-3 Pour favoriser une rétroaction de qualité, l’évaluation devrait reposer sur un outil pour lequel il existe des preuves de validité.^2,4 Plusieurs outils d’évaluation en supervision par observation directe (SPOD) sont disponibles en anglais, mais leurs preuves de validité et les bénéfices qui y sont associés sont très variables et peu adaptés aux programmes de résidence en médecine familiale (MF).⁵ Pourtant, l’approche de l’observation directe devrait s’ajuster en fonction des besoins spécifiques de chaque spécialité.⁶

Aucun outil de rétroaction supporté par des preuves de validité et spécifique à l’observation directe en MF n’est disponible en français. Au Canada, chaque programme ou site de résidence en MF utilise généralement un outil développé localement. Ceci contribue à l’hétérogénéité dans l’évaluation des compétences et, conséquemment, à une qualité variable de la rétroaction. D’ailleurs, cette problématique est souvent rapportée par les résidents qui participent à la SPOD et constitue une barrière à son utilisation.^2,7 La variabilité entre les attentes des différents observateurs est non négligeable. Huth et ses collègues ont identifié cette difficulté et suggèrent d’utiliser des pratiques standardisées de rétroaction.⁷ Néanmoins, la rétroaction écrite est à la base du processus d’évaluation programmatique mis de l’avant par le Collège des médecins de famille du Canada (CMFC),⁸ et la documentation de la rétroaction dans un contexte d’observation directe constitue une norme d’agrément à laquelle chaque programme doit se conformer.⁹

Cette étude visait le développement d’un guide pour soutenir la rétroaction écrite dans le processus de documentation de la rétroaction en SPOD dans les programmes canadiens francophones de résidence en MF. L’étude a été réalisée en trois phases (Figure 1) avec la collaboration de cinq programmes de MF canadiens ayant au minimum un site d’enseignement francophone : 1) étude de besoins afin d’identifier les besoins normatifs, prescrit, exprimés et perçus;¹⁰ 2) élaboration du Guide de rétroaction SPOD; 3) mise à l’essai du Guide en contexte de simulation vidéo, afin d’y apporter les ajustements pertinents.

Figure 1.

Étapes de développement du Guide de rétroaction pour la SPOD en médecine familiale

^*Types de besoins adaptés de Ratnapalan et Hilliard¹⁰

Méthodologie

Phase 1 – Étude de besoins

a) Recension des écrits et des outils existants sur la SPOD

Une revue des écrits scientifiques et de la littérature grise a été réalisée pour identifier des sections de documents d’agrément ou des lignes directrices/bonnes pratiques portant sur la SPOD, et répertorier les outils de rétroaction et d’évaluation publiés qui sont utilisés dans la SPOD. Les fiches locales utilisées dans les cinq programmes de médecine familiale canadiens ayant des unités d’enseignement francophones ont été obtenues via les directeurs de programme.

Sources des données et sélection des études

Les bases de données Pubmed, ERIC, Educational Source et CINAHL ont été interrogées en utilisant les concepts [direct observation] et [medical education], de 1966 à janvier 2019. Une recherche manuelle a permis d’identifier les articles qui n’auraient pas été ciblés par la stratégie initiale. Les études étaient sélectionnées selon les critères suivants :

• nature de la publication : articles de recherche originale, rapports d’innovation ou essais ;

• cible : éducation médicale postdoctorale (résidence) ;

• sujet : observation directe en contexte de travail clinique réel.

Nous avons exclu les éditoriaux, commentaires, articles sur l’observation en contexte de simulation ou d’examen clinique objectif et structuré, articles rédigés dans une langue autre que l’anglais ou le français.

Extraction des données

Différents types de besoins ont été ciblés, tant pour le format que le contenu de l’outil à développer. Les besoins normatifs reflètent les exigences des organismes d’agrément.¹⁰ Ils ont été identifiés à partir des normes d’agrément et autres publications du Collège des médecins de famille du Canada (CMFC).^11-13 Les besoins prescrits (ciblant les points du programme de formation à améliorer¹⁰) ont été adaptés de lignes directrices sur l’observation directe.^4,14-16 Les besoins exprimés (nommés par les résidents et les enseignants¹⁰) ont été inférés à partir du contenu et du format des fiches de rétroaction locales, et en analysant les outils publiés.

Analyse et synthèse des données

Une analyse thématique de contenu déductive, via un tableau de recension des écrits identifiant le pays de l’étude, la (les) discipline(s) ayant pris part au projet, ainsi que le format (normatif, critérié, liste de vérification) et le contenu de l’outil (items évalués), a d’abord été réalisée de manière indépendante par GH et EB, sous la supervision de ML. La synthèse des données a été réalisée conjointement par ces trois personnes.

b) Groupes de discussion portant sur le contenu et le format souhaités

Le guide d’entrevue, créé à partir des résultats de l’analyse des écrits scientifiques et de la littérature grise, a servi à l’animation de quatre groupes de discussion afin d’identifier les besoins perçus quant au contenu et au format souhaités pour le Guide. Les groupes ont été constitués selon le principe de la diversité des participants : genre, programmes de résidence, provenance géographique et années d’expérience en SPOD. Les directeurs de programme n’étaient pas admissibles pour la participation aux groupes de discussion. L’animation de ces groupes s’est faite par entretiens semi-structurés selon les principes reconnus,¹⁷ jusqu’à saturation des données. Les entrevues ont été enregistrées audio, mais non transcrites.¹⁸ Les données ont été extraites à l’aide du logiciel NVivo 12.^MD

Une analyse thématique de contenu mixte (déductive et inductive) et triangulée¹⁹ a comparé les perceptions des superviseurs et des résidents afin d’identifier le format et le contenu les plus pertinents à inclure dans le Guide. L’analyse déductive s’est faite selon les besoins normatifs, prescrits et perçus identifiés à la Phase 1a ainsi que selon le cadre des croyances saillantes sous-jacentes à la théorie du comportement planifié détaillée ci-dessous.²⁰ L’analyse inductive s’est faite à partir des éléments proposés par les participants qui ne pouvaient être codés dans la classification précédente. Elle a été effectuée selon des étapes reconnues^19,21 en respectant le principe de la triangulation des chercheurs, selon lequel au moins deux personnes codifient les données d’abord de manière indépendante, puis en discutent jusqu’à l’obtention d’un consensus.

c) Questionnaire sur les facteurs prédictifs de l’intention à documenter la rétroaction

Dans le contexte d’une étude de besoins, la théorie du comportement planifié (TCP)²⁰ permet d’identifier les facteurs influençant l’intention d’adopter un comportement, ici de documenter la rétroaction en observation directe en médecine familiale. Les participants aux groupes de discussion ont été invités à compléter de manière anonyme un questionnaire validé, construit d’après Gagné et Godin,²² pour mesurer leur intention à documenter la rétroaction, et les facteurs prédisant cette intention. Le questionnaire anonyme a été soumis à chacun des participants de la Phase 1b, ainsi qu’à des superviseurs et résidents volontaires parmi les programmes participants. Les construits mesurés étaient l’intention d’adopter le comportement (i.e. « documenter la rétroaction »), la norme sociale et professionnelle, l’attitude et la perception de contrôle. Chaque construit a été analysé avec au moins trois questions offrant des choix de réponse sur une échelle de Likert à sept choix de réponse (1 : très en désaccord à 7 : très en accord). Des statistiques descriptives et analyses de régression linéaires multiples (méthode des moindres carrés, avec seuil de signification de .05) ont été effectuées pour identifier les facteurs prédictifs de l’intention à documenter la rétroaction (variables de la théorie du comportement planifié: attitude, norme sociale et perception de contrôle²⁰). Le test non-paramétrique de Kruskall-Wallis a été utilisé pour vérifier si les deux groupes différaient quant aux variables de la théorie du comportement planifié.

Phase 2 — Élaboration du Guide SPOD

Le contenu initial du Guide a été proposé par ML, à partir de jalons déjà établis dans la littérature et des jalons définis par les cinq programmes de médecine familiale impliqués dans le projet : Université Laval, Université de Montréal, Université de Sherbrooke, Université McGill et Université d’Ottawa.^23-30 Le contenu a été validé par l’ensemble des co-auteurs, et par les participants aux groupes de discussion, qui ont suggéré divers ajustements sur la formulation des comportements observables, ainsi que quelques éléments portant sur la forme du Guide.

Les participants aux groupes de discussion à la phase 2 ont été à nouveau sollicités pour valider par des commentaires narratifs le contenu et le format du Guide. Celui-ci a été présenté au comité de programme et à la Table des résidents coordonnateurs de l’Université Laval, responsable du projet, et à des superviseurs d’expérience des cinq programmes participant au projet. Le Guide a été bonifié suite aux commentaires reçus.

Phase 3 – Mise à l’essai du Guide

Une mise à l’essai du Guide a été réalisée auprès d’un échantillon de 19 cliniciens enseignants volontaires parmi ceux inscrits à la journée de formation professorale départementale et représentant la population cible d’utilisateurs du Guide. Cette journée se tenait à l’Université Laval (février 2020) sous la forme d’un atelier visant à analyser le contenu de la rétroaction en SPOD avec et sans le Guide. Pour ce faire, deux vidéos de résidents en contexte de SPOD ont été conçues afin de simuler une SPOD, pour lesquelles les cliniciens enseignants devaient formuler une rétroaction écrite. Les deux vidéos présentaient des scénarios cliniques ciblant la plupart des rôles CanMEDs-MF dans deux environnements différents. Ils ont été conçus par des superviseurs d’expérience (ML, AL) et filmés chacun avec une résidente et un patient simulé.

• Dans la première vidéo, une résidente présentée comme étant à la 8^e période de sa première année (R1-P8) évaluait à l’urgence un patient en exacerbation asthmatique (8 minutes).

• Dans la deuxième vidéo, une résidente réalisait un suivi ambulatoire pour diverses situations cliniques courantes (20 minutes). Des résultats de signes vitaux et d’examens paracliniques fictifs ont été présentés aux résidentes afin de faciliter des discussions authentiques. Les deux résidentes ne connaissaient pas les situations cliniques à l’avance et ont offert une performance spontanée.

Tous les participants à la mise à l’essai ont d’abord observé la première vidéo sans le Guide. Ils ont rédigé une rétroaction écrite via un formulaire en ligne sécurisé, sans consignes particulières. Par la suite, le Guide a été présenté et distribué lors d’une courte session didactique. Ils devaient rédiger à nouveau leur rétroaction à la résidente de la première vidéo, cette fois en utilisant le Guide.

Par la suite, tous les participants ont observé la deuxième vidéo à l’aide du Guide en étant randomisés par distribution aléatoire aux participants des documents décrivant la résidente qui était à observer lors de la situation pédagogique: la moitié du groupe rédigeait une rétroaction en croyant que la résidente était à sa deuxième période de formation (R1-P2), alors que l’autre moitié assumait qu’elle était une résidente finissante (R2-P25).

Ensuite, les participants ont répondu à un questionnaire web s’appuyant sur la théorie du comportement planifié, adapté de celui utilisé à la Phase 1c. Le questionnaire comportait également une question sur leur degré global de satisfaction (échelle à 6 niveaux) à l’égard du Guide. Une question ouverte servait à recueillir leurs commentaires et suggestions pour bonifier le Guide. Les données codifiées et celles provenant du questionnaire ont été synthétisées par des analyses statistiques descriptives à l’aide de SAS 9.4.^MD

Une analyse de contenu déductive des rétroactions écrites lors des vidéos a été réalisée par deux cliniciens enseignants expérimentés dans l’analyse de contenu (AL, LC), chacun analysant indépendamment à l’aveugle tous les énoncés de rétroaction dans un ordre aléatoire distinct. Le logiciel NVivo12^MD a été utilisé.

Chaque énoncé de rétroaction (une à trois phrases en moyenne) a été codifié cinq fois, soit une seule fois dans chacune des cinq catégories suivantes :

• valence : positive, négative, indéterminée;

• phases de la rencontre clinique telles que présentées dans le Guide : avant la visite, accueil, collecte des données, diagnostic, prise en charge, suivi, indéterminée;

• rôles CanMEDs-MF : expert en médecine familiale, communicateur, collaborateur, promoteur de la santé, érudit, leader, professionnel, rétroaction générale;

• intention pédagogique de la rétroaction, d’après Kennedy et Lingard,³¹ et Côté et collègues^32,33: conseil, question de clarification sur la situation clinique ou les besoins du résident, question cognitivement stimulante ou présentant un défi, réflexion à propos du résident ou sur soi-même comme superviseur, expression d’un accord/désaccord avec l’opinion du résident, indéterminée;

• alignement au Guide : aligné vs. non aligné.

Un comité expert de cliniciens enseignants (ML, LCa, AL, LC) avait préalablement fourni une liste d’exemples des rétroactions attendues d’un superviseur utilisant adéquatement le Guide pour adapter sa rétroaction au niveau de formation de la résidente.

Les données codifiées et celles provenant du questionnaire ont été synthétisées par des analyses statistiques descriptives à l’aide de SAS 9.4.^MD

Approbation éthique

Le Comité d’éthique de la recherche de l’Université Laval a statué que ce projet n’avait pas à faire l'objet d'une approbation éthique, en vertu de l'article 2.5 de l'Énoncé de politique des trois conseils.

Résultats

Phase 1 – Étude de besoins

a) Revue de la littérature

Au total, 1097 articles ont été identifiés. 113 articles ont été retenus pour la revue de la littérature (Figure 2). La plupart exposaient un outil de rétroaction en particulier (n = 85) et d’autres portaient sur l’observation directe en général (n = 28). 18 fiches provenant de cinq programmes de médecine familiale canadiens ayant des unités d’enseignement francophones ont été répertoriées.

Figure 2.

Résultats de la recension des écrits

^* Pubmed: 393; ERIC: 21; Education source: 80; CINAHL: 157

Besoins normatifs

Les documents normatifs du CMFC ont été révisés pour identifier les besoins normatifs en SPOD dans les programmes canadiens de médecine familiale. Dans les Normes d’agrément des programmes de résidence en médecine de famille (Juillet 2018, version 1.2),⁹ la norme 3.4.1.4 met l’accent sur l’observation directe. De plus, le Rapport sur le Cursus Triple C identifie des stratégies d’enseignement et d’évaluation portant sur l’observation directe, incluant la supervision et la révision de vidéos ou l’observation directe, où l’enseignant fournit de la rétroaction et du coaching à propos des compétences reconnues et encourage l’autonomie chez le résident. L’observation directe fait aussi partie inhérente du processus d’évaluation en cours de formation.³⁴

Le Continuous Reflective Assessment for Training (CRAFT)⁸ résume le processus d’évaluation programmatique attendu, insistant sur l’importance de la documentation de comportements observables lors de situations cliniques quotidiennes, dans les divers domaines de soins. Ces narratifs d’encadrement sont documentés sur des feuilles de route³⁵ et constituent des évaluations de faible enjeu (low-stake assessments) dont l’utilité pour le processus d’évaluation est davantage tributaire des utilisateurs, et non de l’instrument.³⁶ Le CRAFT insiste sur la collaboration entre le superviseur et le résident dans cette documentation de la rétroaction. Il rappelle aussi qu’une évaluation de bonne qualité en milieu de travail repose sur des évaluateurs qualifiés, utilisant un langage commun pour décrire ce qui est observé. Il mentionne enfin que « Les programmes de résidence doivent s’assurer que les superviseurs possèdent de bonnes capacités d’observation et de rétroaction » (p. 8).

Besoins prescrits

Parmi les 28 articles identifiés portant sur l’observation directe de manière globale, quatre ont été utilisés pour définir les besoins prescrits relatifs à l’environnement, à l’enseignant et à l’apprenant.^4,14-16

Les recommandations en lien avec l’environnement cherchent entre autres à préciser la visée de l’observation directe, à savoir si elle sera formative ou sommative.¹⁵ Kogan recommande un environnement propice à l’observation directe,¹⁶ alors que Donato soutient la visée formative de l’observation directe.¹⁴ Le programme doit définir les compétences et les objectifs pour guider l’utilisation d’un outil pour l’observation directe.¹⁵ On souligne aussi l’importance de sélectionner un outil de rétroaction adapté à l’observation directe (idéalement choisir un outil existant, sinon en développer un et évaluer sa validité).^4,15,16 Certaines recommandations ciblent plus spécifiquement les enseignants (observateurs), via l’importance des activités de formation professorale portant sur la rétroaction constructive et l’observation directe.^14-16 L’outil proposé devrait les soutenir en vue d’une rétroaction de qualité et d’un plan d’action pour orienter la suite de la formation (incluant les observations directes futures), en ciblant les domaines de soins pertinents à son apprentissage.^14,16

Au niveau des apprenants, on suggère notamment de les former à l’observation directe et à la rétroaction,^14,15 et d’encourager une utilisation fréquente de l’outil par chaque apprenant.

Besoins exprimés

Outils publiés : Parmi les 85 articles retenus de la littérature, 29% utilisaient le Mini Clinical Evaluation Exercise (Mini-CEX), un outil largement utilisé dans les programmes de résidence en médecine, alors que 14% des articles étudiaient le Direct Observation of Procedural Skills (DOPS). Les caractéristiques de chacun des outils répertoriés dans la littérature médicale sont résumées à l’Annexe 1 (données supplémentaires, en ligne). Au total, 30 outils différents y sont répertoriés, dont seulement 20% (n = 6) avaient été étudiés dans un contexte de médecine familiale. La majorité des outils semblaient utilisés dans un contexte d’évaluation généralement quantitative : seulement 20% (n = 6) avaient une composante narrative significative.

Outils locaux utilisés dans les programmes canadiens francophones de médecine familiale : Le format le plus fréquent parmi les outils locaux était le type narratif (n = 11) ou narratif guidé (n = 6), c’est-à-dire l’utilisation de commentaires avec descriptifs pour guider la rétroaction. Plusieurs sites optaient pour une liste de vérification (n = 7) constituée d’éléments à cocher. Quelques sites ont adopté un format normatif (n = 4), c’est-à-dire une liste d’éléments à coter, mais où l’échelle fait référence à une norme comparant les étudiants entre eux^37,38 (supérieur, attendu, inférieur). Le dernier format observé dans les écrits scientifiques est la grille critériée, mais aucune fiche francophone ne l’utilisait. Ce format comporte une liste de comportements (critères) avec des descriptifs de standards minimaux déterminés à l’avance, à atteindre pour chaque niveau de développement.^37,38

Pour organiser le contenu des fiches de rétroaction en observation directe, le cadre conceptuel le plus fréquemment utilisé était celui des étapes du déroulement de l’entrevue (n = 11) suivi de celui de la méthode clinique centrée sur le patient³⁹ (n = 5). Le référentiel de compétences en médecine familiale CanMEDs-MF était peu utilisé (n = 3) et une seule fiche utilisait les dimensions de la compétence.⁴⁰ Trois fiches n’avaient aucun cadre (n = 3).

b) Groupes de discussion portant sur le format et le contenu souhaité

Besoins exprimés

Les participants aux groupes de discussion (18 superviseurs et 15 résidents) provenaient de sites francophones urbains et ruraux d’enseignement de la médecine familiale de cinq universités canadiennes. La moyenne des années d’expérience en enseignement était de 11,4 ± 2,1 ans et la moyenne du nombre d’années d’expérience en SPOD était de 10,5 ± 1,9 ans. Les résidents étaient issus autant de milieux ruraux que de milieux urbains; 75% complétaient leur deuxième année de résidence en médecine familiale.

Le format narratif ou narratif guidé, encadré par les rôles CanMEDs, était fortement favorisé. Les participants souhaitaient utiliser un outil dont le contenu serait adapté au niveau de formation du résident ainsi qu’au contexte, pour guider les enseignants dans leur observation.

Les superviseurs et les résidents recommandaient de documenter les objectifs visés par les résidents lors des activités de supervision par observation directe, et de fournir une rétroaction sur plusieurs observations.

c) Questionnaire sur les facteurs prédictifs de l’intention à documenter la rétroaction

Besoins perçus

Le questionnaire portant sur l’intention à documenter la rétroaction et ses facteurs prédictifs a été renseigné par 44 superviseurs et 25 résidents. Les analyses statistiques (statistiques descriptives, cohérence interne, relations entre les variables de la théorie du comportement planifié) et le modèle de régression multiple illustrant les facteurs prédictifs de l’intention des superviseurs et des résidents à documenter la rétroaction en supervision directe peuvent être consultés sur le site de la revue (données supplémentaires, en ligne).

Tant chez les résidents que les superviseurs, le modèle de régression s’est avéré significatif. Parmi les trois prédicteurs, la perception de contrôle s’est avérée avoir l’influence significative la plus forte sur l’intention comportementale des résidents, β = 0,55, t(24) = 2,77, p = 0,01, suivie par la norme sociale, β = 0,51, t(24) = 3,48, p = 0,002. L’effet de l’attitude était non significatif. Parmi les trois prédicteurs, seule la perception de contrôle avait une influence significative sur l’intention comportementale des superviseurs, β = 0,55, t(41) = 5,02, p < 0,0001.

Le questionnaire abordait aussi le format souhaité pour l’outil de rétroaction : 56% des résidents et 20% des superviseurs préféraient un format électronique, alors que 16% des résidents et 24% des superviseurs préféraient un format papier. Chez les résidents, 28% n’avaient pas de préférence quant au format. Cette proportion était de 56% chez les superviseurs.

Phase 2 — Élaboration du Guide

Le Guide, tel que présenté à l’Annexe A, a été élaboré en tenant compte des résultats mentionnés à la Phase 1. Au niveau des besoins normatifs, le Guide est conforme aux recommandations du Rapport Triple C – partie 2, ainsi qu’aux principes d’évaluation programmatique CRAFT. Du côté des besoins prescrits, le Guide a été conçu en respectant les recommandations des auteurs consultés. Plus spécifiquement, il rend explicites les attentes à différents niveaux de formation adaptés de la littérature et validés par consensus entre les différentes universités participant au projet,^28,41-48 cible des comportements observables, et ne limite pas la rétroaction à une échelle quantitative.¹⁶ De plus, il respecte les besoins exprimés, notamment l’importance d’un format narratif guidé tant pour les superviseurs que pour les résidents, conservant le vocabulaire CanMEDs et les étapes de l’entrevue médicale comme cadres de référence, de manière adaptée au niveau de formation du résident. Une version en ligne a également été produite (www.guidespodmf.fmed.ulaval.ca ), afin de répondre au besoin formulé par les participants.

Les commentaires obtenus suite à la validation de contenu auprès des participants aux groupes de discussion et des membres des différents comités de programme ont soutenu que le Guide répondait aux besoins exprimés. Les superviseurs ont apprécié le visuel, la facilité d’utilisation du Guide (clair et facile à naviguer); son contenu bien ciblé (rien de superflu), et la structure qu’il offre pour l’observation directe en mettant en parallèle les composantes de la supervision et les composantes cliniques. Ils ont mentionné qu’une formation pour s’approprier ce Guide afin d’en tirer le plein potentiel serait appréciée. Les résidents ont aussi apprécié le visuel, se reconnaissaient dans ce Guide et le trouvaient très pratique par son aspect développemental. Ils ont apprécié la description des composantes de la supervision, et ont recommandé qu’on rappelle sur la première page du Guide la nature formative de l’activité et l’importance particulière du lien de confiance avec le superviseur en SPOD.

Les programmes de médecine familiale de l’Université d’Ottawa et de l’Université McGill ont exprimé le besoin d’offrir une version en anglais à leurs sites de formation anglophones. L’outil a donc été traduit (Annexe B).

Phase 3 – Mise à l’essai du Guide

Dix-neuf cliniciens-enseignants ont participé à l’atelier de mise à l’essai. Parmi eux, quinze (12 médecins de famille et trois travailleurs sociaux ou psychologues impliqués en SPOD) ont fourni des rétroactions écrites (taux de réponse de 79%). Le Tableau 1 présente l’analyse du contenu des rétroactions, et le Tableau 2 présente les résultats de l’évaluation du Guide par les participants lors de l’atelier de mise à l’essai.

Tableau 1.

Contenu des rétroactions formulées par les cliniciens enseignants (n = 15) lors de 2 simulations de SPOD par vidéo

	Codification des énoncés de rétroaction dans cinq catégories*
	Rétroaction sans Guide	Rétroaction avec Guide			Exemples de rétroactions formulées par écrit par les cliniciens enseignants (n=15)
	Scénario 1 (R1, P8) N = 13	Scénario 1 (R1, P8) N = 12	Scénario 2 (R1, P2) N = 7	Scénario 2 (R2, P25) N = 6
Valence Positive Négative Indéterminée	18 29 12	19 34 8	29 18 2	11 18 7	Bonne initiation de décision partagée. Non verbal un peu sévère.
Phases de la rencontre Avant la visite Accueil Collecte des données Diagnostic Prise en charge Suivi Indéterminée Nombre médian de phases	1 10 48 0 23 0 5 3	4 10 46 0 13 0 1 2	2 20 20 7 14 0 6 4	0 19 16 5 11 2 3 4	Trouves-tu que tu t’es bien préparée ? Identifier plus rapidement la raison de consultation. Ne reconnait pas les indices non verbaux du patient. Revoir diagnostic différentiel de gonalgie. Attendre avant de s’avancer sur un plan si incertaine. S’assure d’un rendez-vous ultérieur pour le suivi […]
Rôles CanMEDs-MF Expert en médecine familiale Communicateur Collaborateur Promoteur de la santé Érudit Leader Professionnel Rétroaction générale Nombre médian de rôles	54 16 1 2 0 24 2 3 3	41 15 1 3 0 22 1 2 3	19 28 0 5 0 1 6 5 3	12 20 1 1 0 5 8 2 4	Travailler l’examen du genou. Réassurance bien dosée. Penser intégrer davantage d’autres professionnels. Encourage des changements d’hygiène de vie. Gestion dans un premier temps de l’urgence […] Explore les craintes et réactions de la patiente. Excellente entrevue pour le niveau.
Intention pédagogique Conseils Questions de clarification Questions stimulantes (défi) Réflexions Accord/désaccord Indéterminée	27 2 5 3 31 0	24 0 5 1 32 0	19 0 3 1 35 0	21 1 8 2 18 0	On doit stabiliser le patient et le questionner ensuite. Est-ce que ça s’est bien passé ? Que ferais-tu de différent [pour prioriser] ? Je me demande si l’étudiant aurait [sic] pu détailler un peu plus [...] Peu empathique à l’inconfort manifesté par le patient.
Alignement au Guide Aligné Non aligné	52 26	51 20	38 24	40 14	Limiter le contrat initial : trop de sujets ce jour. (R2,P25) Éviter de faire des trop gros contrats initiaux. (R1,P2)
% de rétroactions alignées	60%	75%	58%	77%

* Pour chaque catégorie, les auteurs ont fractionné la rétroaction reçue en énoncés d’une à trois phrases qui portaient sur le même thème. Il était donc attendu que le nombre d’énoncés varie pour chaque catégorie. n = nombre de cliniciens enseignants ayant fourni une rétroaction écrite; les nombres indiqués dans le tableau représentent le nombre d’occurrences dans le texte pour chacun des éléments de la colonne de gauche

Tableau 2.

Évaluation du Guide par les cliniciens enseignants (n=12) sur échelle de Likert à 7 items (1 très en désaccord à 7 très en accord)

	Question		Moyenne	Écart-type
Attitude (construits indirects)	1	M’aidera à considérer un large éventail des rôles CanMEDs-MF lors de ma rétroaction	5.25	0.45
	2	M’aidera à considérer l’ensemble des étapes de la démarche clinique lors de ma rétroaction	5.08	0.79
	3	M’aidera à échanger une rétroaction adaptée au niveau de formation du résident	5.25	0.75
	4	M’aidera à échanger une rétroaction spécifique	5.00	0.85
	5	M’aidera à prévoir les objectifs de la prochaine supervision par observation directe d’un résident	5.25	0.87
	6	M’aidera à documenter par écrit la rétroaction aux résidents	5.00	0.74
	7	Me permettra de mieux dépister les résidents en difficulté	4.50	1.00
	8	Compliquera mon travail de superviseur*	2.42	1.00
	9	Brimera mon jugement de superviseur*	1.33	0.65
	10	Aura peu d’effet sur la qualité de ma rétroaction*	2.08	0.90
		MOYENNE	5.05	0.45
Attitude (construits directs) évaluée par échelle de type différentiateur sémantique49,50	19	Inutile-Utile	5.08	0.67
	20	Nuisible-Bénéfique	5.08	0.51
	21	Déplaisant-Plaisant	4.45	0.69
	22	Difficile-Facile	4.25	0.75
	23	Irréaliste-Réaliste	4.67	1.07
	24	Angoissant-Rassurant	4.42	0.90
		MOYENNE	4.66	0.56
Perception de contrôle	11	Je me sentirai davantage outillé pour échanger mes rétroactions si j’utilise le Guide francophone de rétroaction pour la supervision par observation directe en médecine familiale	4.82	0.60
	12	Je me sentirai capable d’utiliser le Guide francophone de rétroaction	4.83	0.72
	13	Je n’aurai pas le temps d’utiliser le Guide francophone de rétroaction*	3.17	0.94
	14	J’aurai besoin de formation pour être en mesure d’utiliser le Guide francophone de rétroaction*	2.58	1.00
		MOYENNE	4.46	0.44
Norme sociale	15	Les résidents que je supervise trouveront important que j’utilise le Guide francophone de rétroaction	3.83	0.94
	16	Mes collègues cliniciens enseignants trouveront important que j’utilise le Guide francophone de rétroaction	3.67	0.78
	17	Le directeur du programme de médecine familiale trouvera important que j’utilise le Guide francophone de rétroaction	4.75	0.97
		MOYENNE	4.08	0.77
Intention	18	INTENTION : Je vais utiliser le Guide francophone de rétroaction	4.92	0.51
Degré global de satisfaction	25	Degré global de satisfaction	4.75	0.45

Note *=item inversé en raison du sens de l’énoncé de l’item (accord = jugement négatif plutôt que positif)

Avec ou sans le Guide, la rétroaction portait sur la collecte des données et la prise en charge et fut principalement formulée sous forme de conseils ou désaccords, alignés avec le niveau de formation. Les rôles d’expert, de communicateur et de leader sont principalement ciblés. Le Guide a été ajusté à la suite de cette mise à l’essai, en particulier pour préciser les phases de la rencontre clinique souvent oubliées durant la rétroaction (avant la consultation, diagnostic et suivi), et pour y suggérer des types de formulation à favoriser pour la rétroaction (question stimulante présentant un défi, question de clarification, réflexions).

Les commentaires des participants (n = 8) mentionnaient que le Guide est un outil pertinent, qui peut être complexe et fastidieux à utiliser, surtout au début. Une formation et une période d’appropriation sont fortement recommandées.

Discussion

Le développement du Guide de rétroaction francophone pour l’observation directe des résidents en MF au Canada s’inscrivait dans le cadre d’une démarche rigoureuse comportant une étude de besoins en trois phases, des cycles itératifs d’élaboration, ainsi qu’une mise à l’essai. Le Guide élaboré mise sur le besoin de soutenir une rétroaction narrative touchant à un ensemble de phases de la rencontre clinique (« Composantes cliniques » illustrées sous forme d’une série de flèches circulaires) et de rôles CanMEDs-MF (détaillés dans les pages suivant le schéma principal). Tel que convoité par les participants, le Guide présente les comportements observables attendus en fonction des différentes étapes de formation via des rubriques développementales déterminées par consensus entre cinq programmes de médecine familiale francophones canadiens (quatre colonnes à droite du schéma, illustrant quatre étapes de transition adaptées du modèle de Continuum de la compétence développé par le Collège royal des médecins et chirurgiens du Canada⁵¹). Enfin, le Guide rappelle les concepts clés de la supervision par observation directe issus de la littérature et des constatations effectuées lors de la mise à l’essai du Guide (« Composantes de la supervision » dans la colonne de gauche).

La recension des écrits et des outils existants (Phase 1) a permis de constater à quel point les outils disponibles dans des spécialités autres que la médecine familiale étaient encore beaucoup orientés vers l’évaluation, tel que rapporté dans une revue systématique de Kogan en 2009.⁵ Par ailleurs, bien que l’évaluation programmatique recommande de documenter des rétroactions narratives par des observateurs multiples dans différents contextes,⁵² la plupart des outils répertoriés utilisent un format quantitatif sous forme de grilles normatives, critériées ou de listes de vérification.⁵ Notre Guide documente plutôt des rétroactions narratives par des observateurs multiples dans différents contextes. La rétroaction narrative a démontré son utilité pour l’évaluation des habiletés de communication dans des contextes d’examens cliniques objectifs et structurés (ECOS), surpassant les limites associées à l’utilisation d’échelles quantitatives.⁵³ Elle a aussi démontré des éléments de validité en lien avec les commentaires écrits sur des fiches d’évaluation de fin de stage.⁵⁴ À l’externat, une étude a démontré une corrélation variant entre 0,35 et 0,49 entre les commentaires narratifs et les scores d’examen de fin de stage.⁵⁵

Nos groupes de discussion ont mis en évidence l’importance de clarifier les attentes des superviseurs et des résidents en fonction du niveau de formation, afin de guider les observations. Gingerich et ses collaborateurs ont suggéré d’attirer l’attention des évaluateurs sur les performances attendues juste avant l’observation.⁵⁶ Diller a aussi identifié que l’évaluation narrative en milieu de travail dans un programme de résidence pouvait être associée à une surreprésentation de certaines compétences, alors que d’autres compétences sont moins souvent commentées.⁵⁷ Le développement du Guide arrive donc à point comme outil de formation professorale pour les programmes, en tant que ressource précisant les jalons attendus pour alimenter une rétroaction narrative dans une perspective d’évaluation programmatique. La clarification de ces jalons permet aussi aux résidents de mieux suivre leur développement, facilitant ainsi l’identification d’objectifs de travail pour leurs activités d’observation directe.

Le pouvoir prédictif sur l’intention comportementale de l’attitude, de la norme sociale et de la perception de contrôle a été estimé chez les résidents et les superviseurs à l’aide d’une analyse de régression linéaire multiple. Bien que les tailles d’échantillons pour ces deux groupes soient très petites, il apparaît que selon l’étude de Knofczynski et Mundfrom,⁵⁸ elles soient néanmoins acceptables pour une analyse de régression étant donnée la force des associations entre les variables, d’une part, et le faible nombre de prédicteurs dans le modèle, d’autre part. Tel qu’identifié dans une étude antérieure, l’attitude et la perception de contrôle sont des facteurs importants pour prédire l’intention d’utiliser des feuilles de route pour documenter la rétroaction.⁵⁹ L’aspect visuel attrayant et la disponibilité d’une version interactive en ligne (www.guidespodmf.fmed.ulaval.ca ) ont été mis de l’avant afin de favoriser une attitude positive face au Guide. Aussi, l’intensification de la perception de contrôle comme facteur essentiel à la documentation de la rétroaction a permis d’orienter la formation professorale à offrir en lien avec l’utilisation du Guide, afin de s’assurer que les résidents et les enseignants soient confortables avec l’outil. Par ailleurs, le choix de développer un Guide et non une fiche de rétroaction permet aux utilisateurs de différents sites ou d’universités distinctes d’utiliser un même guide pour rédiger leur rétroaction à l’aide des feuilles³⁵ de route déjà mises en place localement et souvent tributaires d’une interface informatique préétablie.

Lors de la mise à l’essai du Guide, les superviseurs ont su l’utiliser pour trois niveaux de formation. L’étude a cependant identifié des lacunes dans la diversité et la formulation de la rétroaction. Presque toutes les rétroactions touchaient les rôles d’expert, de communicateur et de leader. Cela fut aussi observé dans d’autres spécialités médicales :

• en médecine interne, l’expertise médicale et la gestion du temps ou des ressources prédominaient aussi dans les rétroactions données aux résidents;⁶⁰

• en médecine d’urgence, les rôles de collaborateur, de promoteur de la santé, d’érudit, et de gestionnaire représentaient moins de 25% des commentaires écrits.⁶¹

Par ailleurs, le contenu similaire de la rétroaction avec versus sans le Guide (Scénario 1) pourrait s’expliquer par l’expérience des superviseurs ayant participé à l’atelier de formation. Effectuer la même collecte de données auprès d’un échantillon d’enseignants plus novices pourrait mener à des résultats différents.

Ce projet comporte diverses limites. D’abord, comme les bases de données utilisées répertorient des périodiques principalement anglophones, aucun outil francophone n’a été identifié dans la littérature. Ceci a été compensé en répertoriant les outils locaux des différents programmes canadiens francophones. Par ailleurs, un biais de volontariat a pu influencer les résultats des groupes de discussion et des questionnaires. Toutefois, l’utilisation ultérieure dans les milieux permettra de corriger certains aspects du Guide qui auraient pu ne pas être soulignés par les volontaires. En outre, la faible taille de notre échantillon, réunissant uniquement des superviseurs associés au réseau de l’Université Laval, ne permettait pas de procéder à des inférences statistiques sur la valeur ajoutée du Guide en lien avec la qualité de la rétroaction. L’objectif de la phase 3 se limitait à améliorer la qualité du Guide. Enfin, puisque le Guide comporte des pages détaillées explicitant les compétences attendues pour les quatre étapes de transition, il pourrait être perçu initialement comme plutôt dense et donc difficile à utiliser en contexte clinique de SPOD. La version en ligne permet de simplifier le visuel et de rendre plus interactive la consultation des détails explicitant les compétences. De plus, un module de formation en ligne illustrant l’utilisation du Guide a été développé en soutien à l’implantation du Guide dans les milieux.

Conclusion

Le Guide de rétroaction francophone pour l’observation directe des résidents en médecine familiale au Canada est issu d’une collaboration entre les programmes canadiens de médecine familiale ayant des sites francophones. La démarche rigoureuse suivie, comportant une étude de besoins en trois phases, des cycles itératifs d’élaboration, ainsi qu’une mise à l’essai, permettent de proposer aux superviseurs et aux résidents un outil ayant une validité de contenu et une acceptabilité appréciables au plan national. Un module de formation a été développé, et son impact sur la qualité de la rétroaction perçue par les résidents est en cours d’évaluation. Les versions française et anglaise du Guide pourraient être validées à plus large échelle, ou encore adaptées en fonction des besoins pour différents programmes de résidence.

Comment utiliser le Guide de rétroaction francophone pour l’observation directe des résidents en médecine familiale au Canada?

Ce Guide a été conçu avec l'objectif d'enrichir la rétroaction échangée lors des activités de supervision par observation directe dans les programmes de médecine familiale au Canada. Il permet d'identifier les comportements observables attendus à différentes étapes de transition au cours de la formation des résidents.

Le schéma permet d'identifier en un coup d'oeil quelques éléments importants à observer en fonction des différents moments d'une entrevue médicale, et d'ajuster les attentes de l'observateur en fonction du niveau de l'étape de formation du résident. Les attentes quant aux principaux comportements observables lors des divers moments de la consultation médicale sont développées dans le schéma de droite, en fonction de quatre étapes de la résidence en médecine familiale. Le résident et/ou le superviseur cible(nt) un ou plusieurs moments de la consultation et documente(nt) la rétroaction en fonction de l’étape où est rendu le résident dans sa formation. Une liste plus détaillée de comportements observables attendus à chacune des quatre étapes est disponible aux pages suivantes du Guide, afin d’alimenter le vocabulaire utilisé dans la rétroaction.

Pour bien utiliser ce Guide:

1. Identifier, en discutant avec le résident et les autres cliniciens enseignants, à quelle étape de formation se trouve le résident

   1. Transition vers la médecine familiale (trois à six premiers mois, selon le moment du premier stage de médecine familiale, où l'on recherche la fiabilité);
   2. Acquisition des compétences en médecine familiale (le reste de la 1re année de résidence, où l'on recherche à être fonctionnel);
   3. Consolidation des compétences en médecine familiale (la majorité de la 2e année de résidence, où l'on recherche l'autonomie);
   4. Transition vers la pratique (les derniers mois de formation, où l'on recherche l'efficience).

2. Avant l'observation, le résident et l'enseignant naviguent à travers le Guide pour cibler des comportements à observer.

3. Pendant l'observation, l'enseignant clique sur les différentes composantes cliniques de l'entrevue vis-à-vis la bonne étape de transition, pour visualiser l'ensemble des comportements attendus à cette étape; il copie et colle les comportements à commenter dans la fiche de rétroaction proposée par son programme de médecine familiale, et planifie sa rétroaction.

4. Après l'observation, le résident et l'enseignant échangent une rétroaction en fonction des comportements observés et établissent un plan d'action pour la prochaine observation en ciblant les comportements moins observés de l'étape en cours, ou en encourageant la pratique de comportements de l'étape suivante.

Annexe A

Annexe B

Conflit d’intérêt

Les auteurs ne déclarent aucun conflit d’intérêt.

Financement

Les auteurs ne déclarent aucun conflit d’intérêt. Les sources de financement pour ce projet ont été :

• Subvention de la Famille Wooster de l’Association canadienne pour l’Éducation Médicale ;

• Subvention du Fonds de Recherche et d’Enseignement du Département de médecine familiale et de médecine d’urgence de la Faculté de médecine de l’Université Laval ;

• Chaire de leadership en enseignement en pédagogie des sciences de la santé AMC-MD de la Faculté de médecine de l’Université Laval.

Remerciements

Merci à Caroline Simard, Gabrielle Hogue et Emy Bujold pour leur soutien à la revue de littérature; à Pascal Lalancette pour son soutien aux analyses de la phase 1; à Célia de Bruyn, Florence Lévesque, Daniel Nuncio-Naud et Lucie Poulin pour leur participation aux vidéos; à Josée d’Amours et Lucie Carignan pour leur expertise en enseignement clinique dans la planification de l’analyse des données de validation; et à Frédéric Douville pour son soutien dans l’élaboration des questionnaires.