Skip to main content
NCBI home page
PMC Canada Author Manuscripts logoLink to PMC Canada Author Manuscripts
. Author manuscript; available in PMC: 2013 Aug 28.
Published in final edited form as: Mes Eval Educ. 2006;29(3):57–73. [Article in French]

Vers une réconciliation des théories et de la pratique de l’évaluation, perspectives d’avenir

Astrid Brousselle 1, François Champagne 1, André-Pierre Contandriopoulos 1
PMCID: PMC3756030  CAMSID: CAMS2539  PMID: 23997420

Abstract

Evaluation practitioners encounter various questions while conducting evaluation projects. First, how can the evaluator define the intervention which is to be evaluated? Second, how should the evaluator consider the change? Third, how can use of the evaluation be encouraged? All three preoccupations have found answers in the theoretical developments of program evaluation, whether through implementation evaluation, intervention analysis or participative approaches. However, prolific theoretical developments, while enriching the strategies available to us, may also lead paradoxically to confusion and to difficulties in the transposition of new knowledge into practice. First, we will illustrate the three main difficulties the evaluator is confronted with during practice. Then we will review the different answers offered by evaluation theory. Finally, we will analyze the potential contributions and difficulties which these developments bring to evaluation practice. In conclusion, we will discuss future avenues for facilitating the appropriation of evaluation theories into practice.

Keywords: Evaluation, theory, practice

Introduction

L’évaluation est un domaine très prolifique, sur tous les plans. Sur le plan théorique, de nouvelles approches sortent chaque année. Ces nouvelles théories, sans venir révolutionner le champ de l’évaluation, contribuent de façon importante à son développement. Elles apportent des nuances, changent peu à peu nos représentations, nos conceptions et font évoluer le domaine. Ces approches travaillent aussi beaucoup en différentiation. Elles se positionnent par rapport aux théories existantes en en proposant, bien souvent, une variante. Sur le plan de la pratique de l’évaluation, le champ est également en pleine expansion. Les décideurs et gestionnaires souhaitent voir évalués les changements qu’ils introduisent dans l’organisation des services. Cette demande croissante pour des évaluations dans un domaine où les développements théoriques sont très importants crée, paradoxalement, des difficultés en ce qui a trait à la transposition des nouvelles connaissances dans la pratique de l’évaluation. Nous proposons d’illustrer, dans cet article, le dialogue qui existe entre pratique et théorie. Il ne s’agit pas d’un article exhaustif. L’objectif est de montrer, à l’aide d’exemples choisis, comment les théories en évaluation peuvent répondre à certaines grandes difficultés de la pratique de l’évaluation tout en mettant en valeur les besoins par rapport au champ de l’évaluation pour faciliter cette rencontre entre théories et pratique. Dans cet article, premièrement, nous illustrerons trois grandes difficultés auxquelles est confronté l’évaluateur dans sa pratique. Dans un deuxième temps, nous présenterons les réponses théoriques que propose le domaine de l’évaluation. Dans un troisième temps, nous discuterons des avenues possibles pour favoriser une réconciliation entre la pratique et la théorie de l’évaluation. Cet article permettra d’illustrer cette tension qui se dessine actuellement entre les questionnements de la pratique et le foisonnement théorique. Il devrait également mettre en valeur les points forts des développements théoriques comme des outils pratiques pour la conduite empirique de projets et présenter les avancées prochaines sur le plan du développement théorique du champ de l’évaluation, vers un rapprochement des préoccupations pratiques des évaluateurs.

Trois difficultés de la pratique de l’évaluation

L’évaluateur qui souhaite analyser les changements introduits dans les systèmes, que ce soit des programmes ou des interventions, doit résoudre trois problèmes lors de l’élaboration de son projet. Premièrement, quelle définition de l’intervention retenir? En effet, une intervention en processus d’implantation est un phénomène complexe qui est loin d’être un modèle unique et uniforme (Brousselle, 2004; Brousselle & Champagne, 2005; Patton, 1997). Deuxièmement, comment appréhender le changement? Les causes d’échec du changement sont variables (Champagne, 2002) et conduisent à envisager différentes stratégies d’évaluation des interventions. Troisièmement, comment favoriser l’utilisation de l’évaluation?

De la définition de l’intervention

Avant de pouvoir analyser une intervention, il faut être en mesure de la définir. Premièrement, une même intervention peut être interprétée et représentée différemment suivant l’étape à laquelle elle se trouve (conception, implantation, routinisation), les éléments constituants n’ayant pas la même importance aux différentes étapes. Deuxièmement, l’intervention se construit de façon adaptive et lentement. À partir de quand peut-on dire que l’intervention évaluée est implantée et opérationnelle? Troisièmement, le contexte d’implantation est le lieu de rencontre des intérêts des acteurs (Crozier & Friedberg, [1977] 1992). Alors que l’on souhaiterait que l’implantation d’une intervention soit un exercice rationnel et planifié, elle est généralement le résultat des forces politiques. Dans ce cas, l’intervention devient très liée au contexte. Elle devient alors un produit unique qui tire seulement son inspiration d’un modèle uniforme. Quatrièmement, le contexte ne vient pas seulement modifier l’intervention mais contribue directement au processus d’implantation (barrières à l’implantation ou facteurs facilitateurs). En effet, la frontière entre le contexte et l’intervention peut devenir extrêmement ténu. Prenons l’exemple d’un changement réussi grâce à la présence d’un leader charismatique. Doit-on considérer qu’il fait partie intégrante de l’intervention ou devrait-il faire partie des variables contextuelles, quand on sait que c’est une composante majeure dans la réussite du changement (Champagne, 2002)?

De l’analyse du changement

Régulièrement, nous introduisons des changements dans nos systèmes et organisations. Toutefois, il y a tout un chemin à parcourir entre l’intention du changement et l’obtention des effets souhaités. «Le changement est un phénomène complexe, peu prévisible [...]» (Champagne, 2002, p. 8). On peut dire qu’un «changement est réussi lorsque les effets attendus sont obtenus sans effets pervers trop importants» (Champagne, 2002, p. 15). On peut par ailleurs assister «1) à un échec de décision lorsque le besoin ressenti de changement n’entraîne pas la décision de le réaliser; 2) à un échec d’implantation lorsque la décision d’intervenir ne mène pas à une mise en œuvre adéquate du changement; 3) à un échec de la théorie de l’intervention lorsqu’une mise en œuvre adéquate ne permet pas de produire les effets attendus» (Champagne, 2002, p. 6). Analyser le changement conduit à penser l’évaluation en fonction des caractéristiques propres du cas à l’étude et à adapter le type d’évaluation.

Quand il s’agit d’analyser le changement, l’analyse des effets permet de s’assurer que les effets observés sont bien ceux associés à l’intervention évaluée. La portée de l’analyse des effets, qui s’apparente au modèle de la boîte noire (Champagne & Denis, 1990; Denis & Champagne, 1990; Patton, 1997), est limitée à l’analyse de l’association qui peut exister entre l’intervention et les effets. Dans un contexte réel d’implantation, que nous apprend l’analyse des effets quand une intervention n’a pas d’effet, quand un programme fonctionne ou quand les effets observés ne sont pas ceux attendus? C’est là que l’analyse d’implantation et l’analyse de l’intervention prennent leur sens.

De l’utilisation de l’évaluation

Devant le constat que les résultats d’évaluation semblent moins utilisés que ce que l’on souhaiterait (Patton, 1988; Weiss, 1988a; Weiss, 1988b; Weiss, 1990), les évaluateurs se sont questionnés sur les moyens adéquats pour favoriser l’utilisation de l’évaluation. Weiss (1988a) suggère d’identifier les décideurs clés, de les engager dans la planification de la recherche, de s’assurer que les questions répondent à leurs préoccupations, de limiter l’étude aux variables sur lesquelles ils ont une influence, de communiquer les résultats rapidement, de parler aux décideurs en personne, et de transmettre les résultats sous une forme accessible et vulgarisée. Patton (1988) répond qu’il est de la responsabilité de l’évaluateur de trouver des façons de maximiser l’utilisation et que le processus même d’évaluation doit être conçu dans cet objectif. Par ailleurs, se questionner sur l’utilisation de l’évaluation implique de définir ce que l’on entend par utilisation.

On relève différentes définitions de l’utilisation de l’évaluation (Champagne, Contandriopoulos & Tanon, 2004). Premièrement, l’utilisation des résultats d’évaluation, utilisation instrumentale. Les gestionnaires et décideurs s’attendent en général à utiliser avant tout les résultats d’une évaluation. Dans les faits, il semble que les résultats soient généralement peu utilisés et que l’utilisation perçue des résultats ne soit pas directe mais plutôt diffuse et graduelle. Deuxièmement, il est possible de faire une utilisation conceptuelle de l’évaluation. Il arrive que l’évaluation modifie la conception et l’interprétation que les décideurs et gestionnaires ont du programme. C’est ce que Weiss appelait enlightenment, « […] the gradual sedimentation of insights, theories, concepts, and ways of looking at the world» (Weiss, 1977). L’évaluation est, dans ce cas, utilisée même si les résultats ne sont pas l’extrant principal. Troisièmement, l’utilisation peut être symbolique, l’évaluation servant à légitimer certaines positions. Quatrièmement, le processus d’évaluation peut être l’élément principal de l’utilisation dans un but d’émancipation des acteurs, d’appropriation du pouvoir, ou simplement de partage des connaissances. Dans ce cas, le rôle de l’évaluateur se modifie et il doit développer de nouvelles habilités (facilitateur, négociateur).

Trois réponses en théories de l’évaluation

Le champ de l’évaluation a grandement évolué ces dernières années en proposant des approches qui répondent à l’une ou l’autre de ces questions, que ce soit par l’analyse de l’intervention, l’analyse de l’implantation, ou les approches participatives. Toutefois, aucune proposition théorique ne concilie les trois dilemmes dans une même approche. Nous présenterons maintenant quelles réponses les développements théoriques de l’évaluation proposent aux difficultés que rencontrent les praticiens de l’évaluation et discuterons de leur intérêt pour la pratique de l’évaluation.

L’analyse de l’intervention

L’analyse de l’intervention est souvent assimilée à l’analyse logique ou à l’analyse de la théorie de programme. Pourtant, il existe des spécificités importantes selon les auteurs qui l’ont particulièrement développée. L’analyse de l’intervention représente plus que la simple modélisation, bien qu’elle implique de modéliser l’intervention. Selon le modèle développé au Groupe de recherche interdisciplinaire en santé (GRIS), « […] l’analyse de l’intervention permet de porter un jugement sur l’adéquation du modèle théorique sur lequel repose la présomption de l’efficacité de l’intervention» (Champagne, 2005). Pour ce faire, il est nécessaire d’élaborer le modèle logique opérationnel de l’intervention et le modèle théorique conceptuel de façon à porter un jugement, premièrement, sur la validité de l’hypothèse d’intervention (lien causal entre les objectifs de production et les objectifs d’intervention: par exemple, augmenter les connaissances sur le VIH et les modes de transmission permet d’augmenter l’utilisation du préservatif), et, deuxièmement, sur la validité de l’hypothèse causale (lien causal entre les objectifs d’intervention et les objectifs ultimes: par exemple, augmenter l’utilisation du préservatif permet de réduire l’incidence du VIH). Dans ce modèle, la modélisation logique est une étape de l’analyse de l’intervention. L’analyse de l’intervention s’effectue en comparant le modèle logique des gestionnaires, c’est-à-dire le modèle tel qu’il est conçu et implanté, au modèle logique scientifique, c’est-à-dire aux relations causales telles que relevées dans la documentation scientifique (pour exemple, Brousselle, 2005; Brousselle, Lamothe, Mercier & Perreault, 2005a, 2005b, 2005c, sous presse).

Chen distingue la théorie de programme du modèle logique. Le modèle logique comprend deux éléments principaux, les composantes du programme et les buts et effets recherchés. C’est une représentation graphique des relations entre les activités prévues et les résultats attendus. La théorie de programme est la représentation systématique des hypothèses sous-jacentes au programme (Chen, 2005, p. 34). Chen représente la théorie de programme par la présentation d’un modèle de changement, d’un modèle d’action et de l’implantation du programme (Chen, 2005, p. 31). Les dimensions représentées recoupent celles du modèle du Groupe de recherche interdisciplinaire en santé (GRIS) (modèle causal, modèle logique opérationnel, modèle logique théorique), même si le mode de représentation est différent.

Dans ces deux modèles, la théorisation de l’intervention s’étend au-delà de la simple modélisation. Alors que la modélisation s’est développée en évaluation pour représenter, de façon plus ou moins pointue, l’intervention, ces deux auteurs lui donnent un rôle nouveau. Le modèle logique devient un outil analytique central pour l’évaluation des interventions. Voyons maintenant de quelle façon l’analyse d’intervention est utile pour la pratique de l’évaluation.

L’exercice de modélisation étant une étape nécessaire à l’analyse d’intervention, l’évaluateur doit inévitablement faire un effort de représentation de l’intervention, de définir les objectifs, les ressources, les processus et les résultats attendus. Par ailleurs, comme il s’agit d’un exercice qui doit être partagé et validé auprès des participants au programme (McLaughlin & Jordan, 2004), il permet d’augmenter l’utilisation conceptuelle de l’évaluation. En effet, le modèle de l’intervention est souvent implicite à l’action mais rarement rationalisé. Discuter des représentations du programme est un moyen de mettre à jour les représentations et de modifier les conceptions des différents acteurs. C’est aussi une étape qui peut susciter l’intérêt pour le processus d’évaluation et donc renforcer une éventuelle utilisation instrumentale de l’évaluation.

L’analyse de l’intervention, qui offre un regard analytique de l’intervention, est utilisée pour l’analyse du changement, particulièrement quand il semble que l’intervention a été mise en œuvre de façon adéquate, mais que l’on n’observe pas les effets attendus, ou encore quand l’intervention est impossible ou difficile à implanter à cause de sa conception même (pour un exemple, voir Brousselle et al., sous presse). Cet exercice est généralement très apprécié par les participants au programme, surtout dans les cas où l’intervention n’était pas explicite. Il permet de valider les bases de fonctionnement du programme ou encore de mettre à jour des modes alternatifs d’organisation.

L’analyse de l’intervention, qui porte un jugement sur le bien-fondé de l’intervention, est encore peu connue et très largement sous-utilisée.

L’évaluation de l’implantation

Il n’existe pas de consensus sur la définition de l’évaluation de l’implantation en dehors d’une définition très générale d’étude des conditions d’implantation d’un programme. L’évaluation de l’implantation, à ses débuts, s’assimilait à l’évaluation des écarts (discrepancy evaluation, Provus 1971). L’idée était de savoir jusqu’où le programme pouvait s’éloigner de l’idéal et jusqu’à quel moment le programme pouvait être considéré comme une variante acceptable de l’idée originale et non comme un nouveau programme (Patton, 1997). Par la suite, les auteurs ont pris position pour définir l’évaluation de l’implantation. Il est étonnant de voir à quel point les objectifs de ce type d’évaluation peuvent varier selon les auteurs mais aussi de voir la variété de sous-types qu’il est possible de distinguer. L’évaluation de l’implantation se retrouve sous deux appellations: l’évaluation des processus et l’évaluation de l’implantation (Brousselle, 2004; Chen, 2005).

Mary Ann Sheirer (1994) l’aborde sous le concept d’évaluation des processus (process evaluation). L’évaluation des processus répond, d’après Sheirer, à trois questions principales:

  • «what is the program intended to be? (methods to develop and specify program components);

  • what is delivered, in reality? (methods for measuring program implementation); and

  • why are there gaps between program plans and program delivery? (assessing influences on the variability of implementation) » (Sheirer, 1994, p. 40).

Rossi, Freeman et Lipsey (1999) reprennent la définition de Sheirer pour établir ce qu’est l’évaluation des processus ou l’analyse d’implantation; ils utilisent indifféremment ces deux appellations. Ils distinguent ce type d’évaluation de l’analyse de l’impact: alors que l’évaluation des processus peut être vue comme une étape en vue d’effectuer une étude d’impact, elle peut aussi être considérée comme une évaluation à part entière.

Pour Champagne, Denis, Pineault et Contandriopoulos, l’analyse d’implantation vise à étudier l’influence des facteurs organisationnels et contextuels sur les résultats obtenus après l’introduction d’une innovation (Champagne et al., 1991, p. 95. Cette définition, au contraire de celle de Sheirer, inclut la considération des effets. Selon le modèle du GRIS (Champagne et al., à venir; Champagne & Denis, 1990; Contandriopoulos, Champagne, Denis & Avargues, 2000), l’analyse de l’implantation s’appuie conceptuellement sur quatre composantes, soit:

  • 1a) l’analyse de l’influence des déterminants contextuels sur le degré de mise en œuvre des interventions;

  • 1b) l’analyse de la transformation de l’intervention;

  • 2) l’analyse de l’influence des variations dans l’implantation sur les effets observés […] ;

  • 3) l’analyse de l’influence de l’interaction entre le contexte d’implantation et l’intervention sur les effets observés […].

Pour Weiss (1998), trois situations requièrent une analyse des processus: «One is when the key questions concern process. Evaluation sponsors want to know what is going on. Another is when key questions concern outcome, but we want to be sure what the outcomes were outcomes of? […] The third situation is when the evaluator wants to associate outcomes with specific elements of program process […]» (Weiss, 1998, p. 9).

Pour Weiss, l’analyse des processus se distingue de l’analyse d’implantation par le fait que l’analyse d’implantation ne traite pas des processus qui interviennent entre les services du programme et l’atteinte des objectifs du programme mais qu’elle se centre sur la mise en place des services définis par le programme.

D’après Rossi et al. (1999), l’analyse d’implantation est une composante du monitoring de programme, alors que Weiss (1998, p. 181), bien qu’elle lui reconnaisse des similitudes, soutient que la principale différence réside sur le plan des objectifs de l’évaluation, à savoir si elle est menée de façon à rendre des comptes aux officiels de haut niveau ou aux bailleurs de fonds (monitoring de programme) ou si elle est menée dans le but de comprendre ce qui se passe et de trouver des moyens d’améliorer le programme (évaluation des processus).

D’après Patton (1997), l’analyse d’implantation vise essentiellement à savoir qu’est-ce qui se passe quant au programme implanté. L’analyse d’implantation est complémentaire à l’analyse des effets dans le sens qu’elle permet, premièrement, de s’assurer que le programme a bien été implanté, mais elle offre également de l’information sur les caractéristiques du programme implanté. Patton (1997) propose cinq dimensions à l’évaluation de l’implantation: l’évaluation de l’effort, le monitoring, l’évaluation des composantes, la spécification du traitement et l’analyse des processus.

Process evaluations search for explanations of the successes, failures, and changes in the program. Under field conditions in the real world, people and unforeseen circumstances shape programs and modify initial plans in ways that are rarely trivial. […] Process evaluations not only look at formal activities and anticipated outcomes, but also investigate informal patterns and unanticipated consequences in the full context of program implementation and development. Finally, process evaluations usually include perceptions of people close to the program about how things are going. A variety of perspectives may be sought from people inside and outside the program. […] These differing perspectives can provide unique insights into program processes as experienced and understood by different people. (Patton, 1997, p. 206)

La position de Chen (2005) est encore différente. Il adapte le type d’analyse à l’étape d’implantation (voir figure 2). L’approche que Chen a adoptée est tout à fait particulière pour la place qu’il accorde à la modélisation de l’intervention, celle-ci n’étant pas seulement un outil de représentation mais un instrument indispensable pour l’analyse et la conduite du processus d’évaluation.

Figure 2.

Figure 2

Open in a new tab

L’analyse d’implantation selon Chen (2005).

Il existe, bien entendu, des recoupements entre les différentes approches, elles sont loin d’être exclusives. Par ailleurs, on retrouve chez les auteurs des conceptions différentes des liens entre les différents modèles d’évaluation. C’est le cas, comme nous l’avons vu, pour l’analyse des processus et l’analyse d’implantation. C’est également le cas pour l’analyse d’implantation et l’analyse de l’intervention. À titre d’exemple, Chen (2005) et Love (2004) considèrent que l’analyse de l’intervention est une composante de l’analyse d’implantation alors que Contandriopoulos et al. (2000) considèrent qu’elle représente un type d’évaluation en soi.

Selon les modèles, l’analyse d’implantation est plus ou moins englobante, certains auteurs, comme Love, considérant qu’il n’existe que deux types d’évaluation, l’analyse des effets et l’analyse d’implantation, d’autres ayant une approche beaucoup plus spécifique. De même, selon les auteurs, l’explication peut être conçue de façon synchronique (Champagne & Denis, 1990), à un moment donné, ou de façon dynamique (Brousselle, 2004; Brousselle & Champagne, 2005) en suivant son évolution dans le temps. L’analyse d’implantation est probablement le type d’évaluation qui a donné lieu au plus grand nombre de variantes possibles. La difficulté pour les praticiens est de connaître l’éventail des possibles mais aussi de choisir entre ces modèles. Comment ce modèle se compare-t-il aux autres? Et quel modèle permet le mieux de répondre au questionnement que l’on se pose? Ces questions sont d’autant plus importantes que l’analyse d’implantation est un type d’évaluation qui suscite, tout comme l’analyse des effets, un grand intérêt, et qu’elle est le type d’évaluation qui permet le mieux d’analyser le changement.

Les approches participatives

L’évaluation peut être interprétée comme la rencontre de deux champs, l’espace politique et l’espace scientifique, entre lesquels il doit y avoir contamination. Pour favoriser la réalisation et l’utilisation d’un projet d’évaluation, il est nécessaire de politiser la démarche scientifique (intégration des intérêts des gestionnaires et des décideurs dans les objectifs de recherche, adaptation des méthodes aux façons de faire locales, adaptation des modes de diffusion et de validation des résultats). Mais il est aussi nécessaire de «scientificiser» l’espace politique (adaptation aux méthodes et exigences de recherche, respect du code de déontologie et des façons de faire) (Brousselle, 2003). La difficulté consiste à déterminer le niveau optimal de contamination, c’est-à-dire à réaliser un partage réussi entre les deux espaces. À ce titre, les approches participatives d’évaluation sont intéressantes puisqu’elles utilisent le processus d’évaluation comme un vecteur d’échange fondamental, que ce soit dans un but formatif ou d’émancipation. Il existe de nombreuses approches possibles, de l’approche constructiviste (Guba & Lincoln, 1989), aux approches néo-positivistes telles que l’«Empowerment Evaluation (Fetterman & Wandersman, 2005), ou encore l’évaluation collaborative (O’Sullivan, 2004), en passant par l’approche pragma-tique de «Utilization-Focused Evaluation» que Patton place dans le paradigme des choix (Patton, 1997). Durant les années 1990, les approches participatives se sont multipliées, chacune ayant ses spécificités. Dans un effort de synthèse, Weaver et Cousins (2004) ont dégagé trois catégories d’intérêts et de buts parmi les évaluations participatives. Premièrement, celles qui ont une justification pragmatique visent à accroître l’utilisation des connaissances qui se dégagent de l’évaluation. Deuxièmement, celles qui ont une justification politique de justice sociale ou d’émancipation de groupes opprimés. Troisièmement, celles qui ont une justification épistémologique, dont l’objectif premier est la production de connaissances valides et l’intégration de représentations particulières des phénomènes sociaux. Les moyens privilégiés varient d’une théorie à l’autre.

Utiliser une approche participative pour l’évaluation est un moyen qui peut potentiellement faciliter le processus d’évaluation en favorisant la compréhension de l’intervention et des particularités contextuelles (définition de l’intervention), qui permet de comprendre plus en profondeur le processus de changement et qui, par l’engagement des participants à l’intervention, favorise l’utilisation de l’évaluation (utilisation conceptuelle, instrumentale et processuelle).

À l’intérieur même des catégories d’approches participatives établies par Weaver et Cousins, il existe une large panoplie d’approches qui, comme pour l’analyse d’implantation, pose la question du choix pour le praticien. Quelle approche est la plus désirable et comment se compare-t-elle aux autres? Le dilemme est peut-être encore plus critique pour les approches participatives que pour l’analyse d’implantation, étant donné le caractère prescriptif des approches (Alkin, 2003). Il s’agit, pour beaucoup, de recettes qui n’ont pas encore subi les mises à l’épreuve qui permettent de s’assurer que ces approches permettent effectivement d’atteindre les objectifs visés et de les valider.

Pistes et avenues pour la réconciliation de la pratique et de la théorie de l’évaluation

L’évaluation s’est constituée, depuis quelques années, en un champ disciplinaire avec des approches diversifiées et de réels outils méthodologiques et stratégiques, afin de favoriser l’atteinte des objectifs souhaités. Les tensions relevées plus haut, pour ce qui est de l’analyse du changement, de la définition de l’intervention et de l’utilisation de l’évaluation, trouvent des réponses partielles dans le développement de l’analyse d’implantation, de l’analyse de l’intervention et des approches participatives. La discussion que nous avons tenue sur les développements théoriques montre qu’il existe une panoplie d’approches qui constituent autant de stratégies possibles pour l’évaluateur, chacune conduisant à une utilisation différente de l’évaluation, et donc, à des extrants différents, sans qu’il n’existe, sur le plan théorique, d’approches évaluatives qui réconcilient tout à fait ces trois aspects. L’approche qui, probablement, s’apparente le plus à une théorie intégrative de l’analyse d’implantation et de l’analyse de l’intervention et qui favorise une approche participative est la «Realistic Evaluation» (Pawson & Tilley, 2005). Toutefois, ce modèle, pour réconcilier ces trois thèmes, exclut aussi des pans entiers de la recherche évaluative.

Cette prolifération sur le plan des développements théoriques constitue un enrichissement du champ de l’évaluation, en même temps qu’elle répond à des questionnements particuliers de la pratique de l’évaluation. Toutefois, elle crée un nouveau dilemme pour la pratique de l’évaluation. Alors qu’elle propose des outils théoriques pour aborder une problématique particulière, sa maîtrise requiert une appropriation du champ que tous les praticiens de l’évaluation n’ont pas toujours. La question du choix d’une approche suppose, en effet, que l’on connaisse les différentes approches et que l’on soit en mesure d’en saisir les particularités. La prolifération actuelle des modèles d’évaluation soulève également plusieurs questions et défis pour les théoriciens de l’évaluation. Premièrement, les théories sont souvent élaborées en fonction des valeurs et principes de leur auteur sans qu’elles n’aient explicitement été mises à l’épreuve. Selon Alkin, il est nécessaire de passer de la diffusion de théories prescriptives à des théories descriptives, soit des théories qui ont été validées ou ajustées selon les expériences (Alkin, 2003). Deuxièmement, il existe certainement un savoir tacite et des théories implicites chez les praticiens de l’évaluation (Christie, 2003) que l’on devrait distinguer et intégrer aux modèles théoriques actuellement développés. Troisièmement, et peut-être de façon plus urgente, il faut développer une connaissance intégrative de l’évaluation. Si l’on vise à augmenter l’utilisation instrumentale et conceptuelle des théories en évaluation, il y a moyen que les théoriciens de l’évaluation rendent plus accessibles les nouvelles connaissances, en particulier par le développement de synthèses. À ce titre, le travail effectué par Weaver et Cousins a clairement répondu à un besoin d’éclairer l’interprétation des approches participatives en évaluation, à un moment où l’engouement pour ce type d’approches était en pleine expansion. Il existe un besoin similaire de synthèses thématiques sur différents aspects des connaissances théoriques en évaluation, et ceci, de façon plus étendue que les thèmes que nous avons traités ici, mais aussi, et plus largement, de synthèses transversales qui permettent de croiser et d’associer les thèmes vers le développement de réelles métathéories (Mark, 2006). Il est important de faire ressortir les points communs, les grands principes directeurs et les différences des théories, de consolider les connaissances que nous avons, comme Alkin a commencé à le faire dans Evaluation Roots (Alkin, 2004), finalement, «to get beyond theorists and brand names» (Mark, 2006).

Conclusion

Nous ne voudrions surtout pas imposer une vision négative du champ de l’évaluation. Bien au contraire! Le constat d’un besoin de développer des connaissances intégrées n’est que le pendant de la richesse et du dynamisme du champ. Nous avons, par ailleurs, la chance d’avoir un champ transdisciplinaire, les approches et les domaines d’expérimentation sont donc extrêmement variés. Ce champ a aussi la particularité d’être mis en pratique dans de très nombreuses organisations, ce qui multiplie les expériences et les savoirfaire. Une démonstration de l’excellence des travaux qui sont développés est le rayonnement de plusieurs grandes théories en évaluation qui ont largement influencé des courants de recherche ou de pensée connexes à leur expertise.

Pourquoi l’évaluation? Quand on pose cette question à Jean King, elle répond «pour améliorer notre monde» (AEA/SCE 2005). Nous avons trouvé et développé toutes sortes de recettes pour améliorer ce monde, il nous manque encore la recette miracle. En attendant, il nous reste à construire pas à pas la connaissance de l’évaluation pour améliorer nos interventions et l’état du monde. Scriven soulignait que les praticiens de l’évaluation devraient toujours se préoccuper de la contribution de l’évaluation à l’amélioration du bien-être.

In my view, one of the most important questions professional evaluators should regularly consider is the extent to which evaluation has made a contribution to the welfare of humankind and, more generally, to the welfare of the planet we inhabit – and, while we’re at it, to the welfare of the other celestial bodies we are beginning to invade. (Scriven, 2004, p. 183)

Nous pourrions ajouter que les théoriciens de l’évaluation devraient toujours se questionner sur les meilleures façons d’évaluer pour améliorer le bien-être.

Figure 1.

Figure 1

Open in a new tab

Les cheminements possibles du changement (Champagne, 2002, p. 5).

RÉFÉRENCES

  1. Alkin MC. Evaluation Theory and Practice: Insights and New Directions. In: Christie CA, editor. The Practice-Theory Relationship in Evaluation. Vol. 97. 2003. pp. 81–90. [Google Scholar]
  2. Alkin MC. Evaluation Roots. Tracing Theorists’ Views and Influences. Sage publications; 2004. [Google Scholar]
  3. Brousselle A. L’évaluation de qui, par qui, pour qui? L’influence des intérêts triangulaires sur la pratique de l’évaluation. Congrès 2003 de la Société canadienne d’évaluation; Vancouver. 2–4 juin 2003.2003. [Google Scholar]
  4. Brousselle A. Evaluation. 2. Vol. 10. London: Sage publications; 2004. What counts is not falling… but landing. Strategic analysis: an adapted model for implementation evaluation; pp. 155–173. [DOI] [PMC free article] [PubMed] [Google Scholar]
  5. Brousselle A. Crossing best practices boundaries: How program theory analysis helped reinterpreting dual diagnosis guidelines. Evaluation 2005: Crossing borders, Crossing boundaries, the 2005 Joint Conference of the Canadian Evaluation Society and the American Evaluation Association; Toronto. 26–29 octobre 2005.2005. [Google Scholar]
  6. Brousselle A, Champagne F. Bulletin de la Société québécoise d’évaluation de programme. 2005. L’analyse stratégique, modèle d’analyse ou démarche théorique pour l’évaluation de l’implantation? [Google Scholar]
  7. Brousselle A, Lamothe L, Mercier C, Perreault M. Service Integration for People with Dual Disorders - Alternatives to the Integrated Treatment Model. Seventh workshop on costs and assessment in psychiatry. Financing mental and addictive disorders. The Journal of Mental Health Policy and Economics. 2005a;8(suppl 1) [Google Scholar]
  8. Brousselle A, Lamothe L, Mercier C, Perreault M. Service Integration for Poeple with Dual Disorders - Alternatives to the Integrated Treatment Model. Financing mental and addictive disorders. Seventh workshop on costs and assessment in psychiatry; Venise. 18–20 mars 2005.International Center of Mental Health Policy and Economics; 2005b. [Google Scholar]
  9. Brousselle A, Lamothe L, Mercier C, Perreault M. Lignes directrices pour l’intégration des services pour les personnes souffrant de troubles concomitants de santé mentale et de toxicomanie: finalité ou point de départ?. Congrès annuel de l’association latine pour l’analyse des systèmes de santé (CALASS); Montréal. 12–14 octobre 2005.2005c. [Google Scholar]
  10. Brousselle A, Lamothe L, Mercier C, Perreault M. Evaluation and program planning. Beyond the limitations of best practices: Ho program theory analysis helped reinterpret dual diagnosis guidelines. (sous presse) [DOI] [PMC free article] [PubMed] [Google Scholar]
  11. Champagne F. Commission sur l’avenir des soins de santé, étude n°39. 2002. La capacité de gérer le changement dans les organisations de santé. [Google Scholar]
  12. Champagne F. Méthodes d’évaluation. Université de Montréal; 2005. (notes de cours) [Google Scholar]
  13. Champagne F, Contandriopoulos A-P, Tanon A. A Program Evaluation Perspective on Processes, Practices and Decision-makers. In: Lemieux-Charles L, Champagne F, editors. Using Knowledge and Evidence in Health Care. Multidisciplinary Perspectives. 2004. pp. 139–171. [Google Scholar]
  14. Champagne F, Denis JL. Pour une évaluation sensible à l’environnement des interventions: l’analyse d’implantation. Service social: L’avenir des services ou services d’avenir. 1990;41(1):143–163. [Google Scholar]
  15. Champagne F, Denis JL, Pineault R, Contandriopoulos AP. Structural and political models of analysis of the introduction of an innovation in organizations: The case of the change in the method of payment of physicians in long-term care hospitals. Health Services Management Research. 1991;4(2):94–111. doi: 10.1177/095148489100400203. [DOI] [PubMed] [Google Scholar]
  16. Chen H-T. Practical Program Evaluation. Assessing and improving planning, implementation and effectiveness. Sage Publications; 2005. [Google Scholar]
  17. Christie CA. Understanding Evaluation Theory and Its Role in Guiding Practice: Formal, Folk, and Otherwise. In: Christie CA, editor. The Practice-Theory Relationship in Evaluation. Vol. 97. 2003. pp. 91–93. [Google Scholar]
  18. Contandriopoulos AP, Champagne F, Denis J-L, Avargues MC. L’évaluation dans le domaine de la santé: concepts et méthodes. Revue d’épidémiologie et de santé publique. 2000;48:517–539. [PubMed] [Google Scholar]
  19. Crozier M, Friedberg E. Les contraintes de l’action collective. Éditions du Seuil; [1977] 1992. L’acteur et le système. (Coll. Points Essais) [Google Scholar]
  20. Denis JL, Champagne F. L’analyse d’implantation: modèles et méthodes. La revue canadienne d’évaluation de programme. 1990;5(2):47–67. [Google Scholar]
  21. Fetterman DM, Wandersman A. Principles in Practice. New York: The Guilford Press; 2005. Empowerment Evaluation. [Google Scholar]
  22. Guba EG, Lincoln YS. Fourth Generation Evaluation. Sage Publications; 1989. [Google Scholar]
  23. Johnson RB. Toward a theoretical model of evaluation utiization. Evaluation and Program Planning. 1998;21:93–110. [Google Scholar]
  24. Love A. Implementation evaluation. In: Wholey JS, Hatry HP, Newcomer KE, editors. Handbook of practical program evaluation. 2. Jossey-Bass; 2004. pp. 63–97. [Google Scholar]
  25. Mark M. Améliorer la condition humaine. Communication en plénière sur la théorie et les modèles au Congrès annuel de la Société canadienne d’évaluation; Charlottetown (Î.-P.-É.). du 4 au 7 juin 2006.2006. [Google Scholar]
  26. McLaughlin JA, Jordan GB. Using Logic Models. In: Wholey JS, Hatry HP, Newcomer KE, editors. Handbook of practical program evaluation. 2. Jossey-Bass; 2004. pp. 7–32. [Google Scholar]
  27. O’Sullivan RG. A Collaborative Approach. Newbury Park, CA: Sage; 2004. Practicing Evaluation. [Google Scholar]
  28. Patton MQ. The Evaluator’s Responsibility for Utilization. Evaluation Practice. 1988;9(2):5–24. [Google Scholar]
  29. Patton MQ. The New Century Text. 3. Sage Publications; 1997. Utilization–Focused Evaluation. [Google Scholar]
  30. Pawson R, Tilley N. Realistic Evaluation (première édition en 1997) Sage Publications; 2005. [Google Scholar]
  31. Provus M. Discrepancy Evaluation for Educationnal Program Improvement and Assessment. Berkeley, CA: McCutchan; 1971. [Google Scholar]
  32. Rossi PH, Freeman HE, Lipsey MW. Evaluation a systematic approach. 6. Sage Publications; 1999. [Google Scholar]
  33. Scriven M. Reflections. In: Alkin MC, editor. Evaluation Roots. Tracing Theorists’ Views and Influences. Sage publications; 2004. pp. 183–195. [Google Scholar]
  34. Sheirer MA. Designing and Using Process Evaluation. In: Wholey JS, Hatry HP, Newcomer KE, editors. Handbook of Practical Program Evaluation. San Francisco: Jossey-Bass Publishers; 1994. pp. 40–68. [Google Scholar]
  35. Weaver L, Cousins BJ. Unpacking the Participatory Process. Journal of Multidisciplinary Evaluation. 2004;1(1):19–40. [Google Scholar]
  36. Weiss CH. Research for Policy’s Sake: The Enlightenment Function of Social Research. Policy Analysis. 1977;3:531–545. [Google Scholar]
  37. Weiss CH. Evaluation for Decisions: Is Anybody There? Does Anybody Care? Evaluation Practice. 1988a;9(1):5–19. [Google Scholar]
  38. Weiss CH. If Program Decisions Hinged Only on Information: A Response to Patton. Evaluation Practice. 1988b;9(3):15–28. [Google Scholar]
  39. Weiss CH. Evaluation for decisions. In: Alkin M, editor. Debates on Evaluation. Sage; 1990. [Google Scholar]
  40. Weiss CH. Methods for studying programs and policies. 2. Upper Saddle River, NJ: Prentice Hall; 1998. Evaluation. [Google Scholar]

RESOURCES