Le moment de faire un bilan

« Si l’examen par des pairs était un médicament, il ne serait jamais homologué… Nous avons eu bien des difficultés à trouver des données probantes solides étayant l’efficacité de ce système. »

Ces propos consternants ont été tenus par Tom Jefferson, du Groupe d’études méthodologiques de la Collaboration Cochrane, au cours d’une entrevue parue dans le quotidien The Guardian 2003, après la publication de leur examen systématique portant sur l’effet de l’examen par des pairs sur les rapports scientifiques et l’octroi de subventions.

La nécessité d’un processus d’assurance de la qualité des articles scientifiques devrait être évidente : des articles dont le contenu est mal approfondi ou carrément erroné entraîneraient une dilution des connaissances scientifiques et constitueraient une entrave au progrès. En outre, plusieurs cas à haute visibilité de fraude scientifique ont fait ressortir le besoin d’un système de contrôle de la qualité aussi solide que possible. L’examen par des pairs avant la publication représente la pierre angulaire de la méthode scientifique depuis 200 ans, et est vu comme un facteur contributif clé dans l’évaluation de la qualité des articles soumis pour publication. Cela dit, nombreux sont ceux qui se demandent si le processus ajoute quoi que ce soit à l’examen attentif effectué après publication par le milieu scientifique par l’entremise de commentaires, de citations et d’articles de synthèse. Dans le monde de la publication biomédicale, il n’est plus rare d’assister à une remise en question du processus d’examen par des pairs¹.

L’examen traditionnel par des pairs dans la littérature biomédicale est un processus clos et « à simple insu », les évaluateurs anonymes connaissant les noms des auteurs et des établissements concernés. On demande aux évaluateurs de non seulement commenter la qualité scientifique du texte, mais aussi d’évaluer le niveau « d’intérêt » de l’article pour le lectorat des périodiques. Beaucoup ont signalé que le processus était lent, coûteux et peu fiable; en effet, les probabilités que deux évaluateurs s’entendent sur la valeur d’un article seraient légèrement supérieures au hasard, selon certaines analyses. De plus, est-ce que les évaluateurs font un travail de qualité suffisante dans la détection des erreurs, des problèmes d’éthique et de fraude? Le processus favorise-t-il un niveau non raisonnable de subjectivité ou même l’abus? Vaut-il tous les efforts investis?

Ce sont là des questions particulièrement valables dans l’environnement en pleine transformation de la publication de travaux scientifiques, dans un contexte où les bases de données regroupées, les serveurs d’impression en ligne, les archives ouvertes d’établissements et les pages Web personnelles d’auteurs entrent en compétition de plus en plus directe avec les versions imprimées ou électroniques des périodiques classiques avec examen par des pairs. Certains militent pour des examens ouverts, la publication des commentaires des évaluateurs et des réponses de l’auteur et la mise à l’essai d’un examen ouvert et public avant la publication officielle. Nous croyons que l’examen par des pairs avant la publication contribue encore au contrôle de la qualité dans la diffusion de résultats d’études dans des journaux et lors de congrès, et que ce processus n’est pas nécessairement devenu désuet. Nous devons tout de même reconnaître ses nombreuses lacunes, plus particulièrement le fait que les effectifs d’évaluation représentent la ressource la plus limitée du processus de publication. Au JAUC, nous utilisons un processus d’examen fermé (« à double insu »), en vertu duquel tant les auteurs que les évaluateurs demeurent anonymes. Comme l’examen par des pairs dépend fortement de la disponibilité des évaluateurs et de leur rendement, il était essentiel de reconnaître publiquement le travail de tous nos évaluateurs; nous avons donc récemment créé un prix pour les évaluateurs ayant effectué les examens les plus soignés et les plus constructifs au fil des ans (l’an dernier, le lauréat était le D^r Kevin Zorn du Centre hospitalier de l’Université de Montréal [CHUM]).

Enfin, pour poursuivre le débat et surtout pour améliorer la pratique, le JAUC offrira un atelier sur l’examen par des pairs lors du Congrès annuel de l’AUC à Banff. L’atelier est ouvert à tous les participants au congrès, des évaluateurs chevronnés aux néophytes. On y abordera les données probantes soulignant les lacunes de cette méthode et on fournira des exercices pratiques permettant de saisir de quoi les périodiques et les auteurs ont besoin de la part des évaluateurs. Nous vous encourageons à assister à cet atelier et à ajouter votre voix à cette importante partie de la recherche scientifique et de la publication. L’activité permettra d’obtenir des crédits du Bureau de l’éducation de l’AUC (Section 1, apprentissage de groupe). L’atelier aura lieu le dimanche 24 juin dans l’avant-midi. Si vous avez des commentaires ou si vous souhaitez participer à cet atelier, veuillez communiquer avec l’équipe de rédaction du JAUC à l’adresse journal@cua.org.