Le facteur d’impact des journaux

Eldon R Smith

C’est la période de l’année où Thompson Scientific rend compte des facteurs d’impact (FI) pour 2005. C’est avec des sentiments mitigés que les rédacteurs en chef des journaux attendent ces données, car le FI a pris une signification qui dépasse grandement ce pourquoi il a été conçu lorsqu’il a été proposé il y a de nombreuses années pour coter l’importance de la recherche. Pour vous rafraîchir la mémoire, le FI d’un journal pour 2005 se fonde sur le nombre de citations parues dans les publications indexées en 2005 à l’égard d’articles parus dans ce journal au cours des deux années précédentes (2003 et 2004), divisé par le nombre d’articles aptes à être cités qui sont publiés au cours de ces deux années.

En 2005, le Canadian Journal of Cardiology a un FI de 1,36, légèrement plus élevé que celui de 2004, en raison de 384 citations dans 283 articles. Ce résultat place le journal en position enviable dans la première moitié de tous les journaux de santé cardiovasculaire, mais non dans l’élite, c’est-à-dire les journaux au FI de 2 ou 3. À mon avis, le nombre total de citations parues en 2005 à l’égard d’articles publiés dans le journal, quelle que soit leur date de publication, constitue une statistique plus importante. En 2005, ce nombre s’élevait à 1 489, ce qui place le journal en bien meilleure position parmi les journaux de santé cardiovasculaire que ne le fait le FI. Cependant, c’est le FI qui est devenu important pour les chercheurs lorsqu’ils décident où soumettre leurs articles, et le FI est de plus en plus utilisé dans les cercles universitaires pour évaluer les chercheurs, c’est-à-dire qu’un chercheur a plus de « valeur » si ses recherches sont publiées dans des journaux aux FI plus élevés. Toutefois, comme c’est le cas avec la cote des émissions de télévision et des universités, nombreux sont ceux qui trouvent que le FI est un indice peu fiable de la qualité d’un journal et qu’il n’a jamais été conçu, et ne devrait sûrement pas être utilisé, pour évaluer les établissements, les chercheurs qui briguent une titularisation ou une promotion ou les demandes de subventions.

Le FI et le journal

L’indice lui-même est relativement simple et, à bien des égards, il devrait refléter l’importance d’un journal : plus les articles d’un journal donné sont cités par d’autres auteurs, plus le FI est élevé. Il semble donc raisonnable d’associer les journaux aux FI élevé à l’importance de la recherche publiée. Mais la vie n’est pas simple. D’abord, près de 90 % des citations dans Nature en 2005 ne provenaient que de 25 % des articles publiés. Ainsi, certains articles suscitent de nombreuses citations, tandis que d’autres en produisent très peu, même s’ils sont publiés dans d’excellents journaux. Quelle est la qualité de ces articles qui ne sont pas cités ? Sont-ils tout aussi importants pour la santé humaine (par exemple) que ceux qui le sont ? Et qui fournit les citations pour les articles publiés ? En fait, c’est souvent un petit groupe de personnes étroitement liées à un petit secteur de la recherche. Qui plus est, le nombre de citations n’est pas nécessairement corrélé avec le nombre de personnes qui ont lu l’article, et il n’y a pas de lien définissable entre l’importance du travail et sa capacité d’influer sur de futures recherches, les politiques de santé ou les soins de santé.

Cette constatation est démontrée par l’évaluation des articles les plus cités. On peut trouver surprenant que les articles d’analyse soient cités davantage que les articles de recherche originale. Ainsi, les articles qui analysent les travaux d’autres auteurs sont plus cités que les articles de recherche originaux, qu’on croirait plus révélateurs de l’excellence.

Même s’il semble que de nombreux auteurs et que ceux qui les évaluent ne comprennent pas le mode de calcul du FI ou ses nombreuses limites, les rédacteurs en chef, eux, les comprennent (1). Puisque le FI est évalué par les bibliothèques (pour déterminer quels journaux acheter) et les publicitaires, il n’est pas surprenant que de nombreux éditeurs se fixent des objectifs pour améliorer le FI de leur journal. De toute évidence, on peut orienter les efforts pour accroître le numérateur, réduire le dénominateur ou les deux. D’ordinaire, les efforts pour accroître le numérateur sont axés sur un ou plusieurs des éléments suivants : sélectionner des articles qui traitent de sujets « populaires », de préférence à des articles qui sont plus importants pour la recherche fondamentale mais qui sont moins susceptibles d’être beaucoup cités, publier plus d’articles d’analyse et moins d’articles de recherche originale ou encourager les auteurs à citer des articles publiés dans leur journal. C’est cette dernière pratique qui a récemment attiré beaucoup d’attention et de critiques; même The Wall Street Journal s’y est intéressé (2). L’article décrit comment le docteur John B West, éminent physiologue en santé respiratoire, a été informé par un journal « très renommé » que son article serait publié s’il était prêt à citer plus d’articles publiés dans ce journal. Le docteur West a refusé, mais bon nombre ne refusent pas, et il est bien connu que les rédacteurs en chef demandent aux auteurs de citer certains articles publiés dans leur journal dans le cadre des « révisions » nécessaires avant l’acceptation définitive. C’est généralement suggéré de manière à indiquer que cette révision s’impose pour mieux tenir compte de l’ensemble des publications reliées au sujet de la recherche.

Qu’en est-il du dénominateur ? Les démarches pour abaisser le dénominateur varient. Certains rédacteurs en chef réduisent le nombre d’articles qu’ils publient. Ils peuvent y parvenir en évitant de publier certains types d’articles (sur les politiques de santé, la recherche pédagogique, les rapports de cas, l’éthique, etc.), moins susceptibles d’être cités mais pouvant tout de même avoir une grande importance pour la collectivité de la santé. D’autres négocient avec Thompson Scientific ce qui doit être calculé comme un article apte à être cité (eh oui, il n’existe pas de critères établis et publics à cet égard). D’autres encore déplacent ce qui devrait être du contenu éditorial dans une rubrique « Nouvelles » et tentent de convaincre Thompson Scientific que les articles de cette rubrique ne devraient pas être calculés.

Ainsi, le FI est un substitut imparfait de pratiquement tous les paramètres pour lesquels il est utilisé. Il reflète mal la qualité du journal et ne peut refléter la qualité d’un article de recherche, de ses auteurs ou de l’établissement d’où provient l’article. Il continue pourtant à être utilisé, et les journaux recourent parfois à des moyens infâmes pour rehausser leur FI. Martin Frank, de l’American Physiological Society, le décrit bien : « Les rédacteurs en chef sont devenus des prostitués du facteur d’impact » (2). La science même est maintenant cotée par un processus non scientifique, subjectif et secret (1).

Il est temps d’un changement, mais l’impulsion pour ce faire n’est pas énorme. Je m’inquiète du fait que le FI soit de plus en plus utilisé pour juger des individus, des groupes et des établissements, alors que lorsqu’il a été conçu il y a 40 ans, on n’a jamais envisagé un tel usage. Nous y reviendrons dans une prochaine chronique, lorsque je proposerai des solutions possibles au FI.

Entre-temps, The Canadian Journal of Cardiology continuera à respecter son mandat à titre de journal officiel de la Société canadienne de cardiologie tout en demeurant une tribune attrayante pour la collectivité internationale de la recherche cardiovasculaire.