Skip to main content
NCBI home page
PMC Canada Author Manuscripts logoLink to PMC Canada Author Manuscripts
. Author manuscript; available in PMC: 2016 Jun 9.
Published in final edited form as: Can J Program Eval. 2011 Jan 1;26(3):1–16. [Article in French]

ÉVALUER UNE INTERVENTION COMPLEXE: ENJEUX CONCEPTUELS, MÉTHODOLOGIQUES, ET OPÉRATIONNELS

André-Pierre Contandriopoulos 1, Lynda Rey 2, Astrid Brousselle 3, François Champagne 4
PMCID: PMC4900871  CAMSID: CAMS2584  PMID: 27293310

Abstract

L’évaluation doit théoriquement aider les décideurs à relever les défis des systèmes de santé contemporains. Paradoxalement, malgré le développement rapide du domaine, l’utilisation des résultats des évaluations par ces décideurs reste faible. Le degré d’utilisation ne dépendrait-il pas de la capacité de l’évaluateur à rendre compte de la complexité des systèmes de santé? La nature complexe d’une intervention amène souvent les évaluateurs à adopter des approches non conventionnelles tenant compte du jeu des acteurs. L’évaluation d’une intervention complexe soulève des enjeux conceptuels, méthodologiques, et opérationnels que doit surmonter l’évaluateur pour accroître le degré d’utilisation des résultats par les décideurs.

Tous les systèmes de santé des pays développés font face à de nombreux défis sous les effets conjugués du développement des connaissances et des techniques, du vieillissement de la population, de la dégradation de l’environnement, et aussi des pressions qui s’exercent sur les finances publiques. Pour résoudre la tension qui existe entre les attentes des populations à l’égard du système de santé et la nécessité de contrôler la croissance des coûts du système de santé, des réformes sont proposées dans tous les pays. La plupart visent à améliorer l’intégration des soins en réformant la gouvernance et en misant sur l’amélioration de la performance. Leur implantation implique une redistribution importante des prérogatives entre les différents niveaux du système de santé et conduit à concevoir de nouveaux outils pour permettre aux décideurs d’exercer leurs responsabilités. Or, les outils nécessaires pour piloter les transformations requises des systèmes de santé font l’objet de discussions et d’efforts considérables. Il s’agit, en particulier, de nouveaux systèmes d’évaluation des interventions permettant de donner un sens aux réformes en cours, orienter les changements, et les gérer de façon responsable. Malgré le développement du domaine de l’évaluation (Alkin, 1991; Cronbach, 1963; Cronbach et al., 1980; Provus, 1971; Scriven, 1972; Stake, 1967; Stufflebeam & Kappa, 1972a,b), l’utilisation des résultats des évaluations par les décideurs reste très faible (Alkin, 1985; Butcher, 1998; Contandriopoulos, Brousselle, & Kedoté, 2008; Cousins & Earl, 1992; Johnson, 1998; Lavis, 2006; Lavis, Robertson, Woodside, McLeod, & Abelson, 2003; Patton, 1997; Pawson, 2002a,b; Weiss, 1979, 1982, 1988, 1993)

Cette observation est à l’origine de la question que nous posons dans cet article: le degré d’utilisation des résultats d’évaluation ne dépendrait-il pas de la capacité de l’évaluateur à rendre compte de la complexité des systèmes de santé? La nature complexe, multidimensionnelle, et paradoxale d’une intervention doit, selon nous, amener les évaluateurs à adopter des approches non conventionnelles, synthétiques, et capables de rendre compte du jeu des acteurs. Évaluer une intervention complexe soulève alors des enjeux conceptuels, méthodologiques, et opérationnels dont l’évaluateur doit tenir compte afin que son jugement puisse être utile aux décideurs et, ainsi, se traduire en actions.

À partir des études que nous menons au Québec, nous montrons qu’il est utile de concevoir les interventions comme faisant partie de systèmes organisés d’action complexes qui s’emboîtent et s’articulent les uns avec les autres. Il est également possible de les évaluer de façon globale et intégrée afin de produire des informations utiles pour les différents preneurs de décisions, aux différents niveaux où ils exercent leurs fonctions. L’idée maîtresse qui a guidé nos travaux réside dans le fait que l’utilité d’une évaluation est d’autant plus grande qu’il existe une forte adéquation entre la complexité de l’intervention à évaluer et le dispositif d’évaluation choisi.

Si on admet qu’évaluer consiste fondamentalement à porter un jugement de valeur sur une intervention ou sur n’importe laquelle de ses composantes en mettant en œuvre un dispositif permettant de fournir des informations scientifiquement valides et socialement légitimes sur cette dernière, de façon à ce que les différents acteurs concernés, qui peuvent avoir des champs de jugement différents, soient en mesure de prendre position sur l’intervention et de construire (individuellement ou collectivement) un jugement qui puisse se traduire en actions (Brousselle, Champagne, Contandriopoulos, & Hartz, 2009), alors trois questions se posent.

  1. Comment définir une intervention complexe, quelles en sont les caractéristiques fondamentales?

  2. Quelles approches peuvent fournir des informations scientifiquement valides et socialement légitimes sur l’intervention?

  3. Quels outils mobiliser pour construire un jugement partagé par les différentes parties prenantes sur l’intervention qui puisse se traduire en action?

1. COMMENT DÉFINIR UNE INTERVENTION COMPLEXE, QUELLES EN SONT LES CARACTÉRISTIQUES FONDAMENTALES?

Une intervention complexe peut se concevoir comme faisant partie d’un système organisé d’action visant à agir sur des problèmes divergents dans un contexte donné, au cours du temps (Figure 1). A ce titre, elle partage les caractéristiques du système organisé d’action (Shiell, Hawe, & Gold, 2008) dans lequel elle s’insère:

Figure 1.

Figure 1

Open in a new tab

Schéma d’un système organisé d’action

  • ouvert sur l’environnement et adaptatif. Il s’agit d’un réseau de processus de production interdépendants dont les interactions régénèrent continuellement l’intervention en tant qu’entité concrète dans un contexte spécifique. C’est en fonctionnant dans son contexte que l’intervention « définit sa topologie »;

  • dans lequel des acteurs interdépendants et ayant des marges d’autonomie importantes (caractéristiques fortes des organisations professionnelles) interagissent (tension permanente entre coopération et compétition);

  • où coexistent plusieurs logiques de régulation. Chaque groupe d’acteurs (les médecins, le personnel soignant, les gestionnaires, les membres du CA) occupe une position particulière qui l’amène à concevoir et à agir selon une conception particulière de l’intervention, de ses caractéristiques, et de ses finalités;

  • dont les processus (façon dont les ressources sont mobilisées et employées pour produire des biens et des services) résultent des pratiques des acteurs. Les pratiques sont déterminées par les structures (physique, organisationnelle, symbolique) du système et elles agissent sur les structures;

  • dont la stabilité (difficulté de mettre en œuvre des changements) découle du double jeu de l’institutionnalisation des normes et des valeurs collectives dans les structures et de l’intériorisation par les acteurs des exigences du système.

Les implications de ces caractéristiques sont nombreuses car les interventions complexes ont:

  • des finalités multiples, souvent contradictoires, difficiles à identifier, divergentes;

  • des relations d’autorités diffuses;

  • un horizon temporel pas toujours défini;

  • une forme qui est dépendante du contexte; une dynamique permanente d’auto-éco-organisation (Morin, 1990; Morin & Le Moigne, 1999) et donc, il est impossible de concevoir une intervention sans prendre en compte son contexte;

  • plusieurs niveaux d’analyse;

  • la logique de l’intervention repose sur des relations causales complexes, les phénomènes rétroagissent les uns avec les autres; existence de paradoxes;

  • la possibilité d’avoir plusieurs agencements différents des ressources qui donnent le même résultat (système sous déterminé; Atlan, 2002);

  • intègrent la coexistence de plusieurs paradoxes dont il faut maîtriser la richesse (autonomie–interdépendance, sur mesure–prêt-à-porter, spécialisation–intégration, stabilité–innovation).

Pour survivre et se développer, une intervention complexe doit de façon permanente, continue, et équilibrée, s’adapter à son environnement, atteindre des buts socialement légitimes, intégrer ses processus de production pour produire des services et des biens de qualité avec efficacité et efficience, et, enfin, maintenir et développer des valeurs et des représentations symboliques permettant aux différents acteurs de communiquer entre eux, de comprendre les buts de leurs actions et de partager une vison commune de l’intervention.

2. QUELLES MODÈLES ET APPROCHES PEUVENT FOURNIR DES INFORMATIONS SCIENTIFIQUEMENT VALIDES ET SOCIALEMENT LÉGITIMES SUR L’INTERVENTION?

La stratégie d’évaluation d’une intervention doit tenir compte du caractère complexe de l’intervention pour être à l’origine d’une action susceptible d’améliorer de façon continue une situation. En effet, dans le domaine de la santé, de nombreux concepts—efficience, efficacité, rendement, productivité, qualité, accès, équité, sécurité, performance—sont très souvent utilisés pour qualifier une intervention sans que les nuances entre ces notions—pourtant distinctes—soient clairement établies et sans qu’on puisse être en mesure de les intégrer dans un même concept.

Nous faisons ici le choix de considérer la performance d’une intervention complexe comme un concept générique englobant l’ensemble de ces notions. Cette décision repose sur un état systématique des connaissances (Sicotte, Champagne, & Contandriopoulos, 1998) qui a permis de dénombrer plusieurs modèles d’évaluation d’une intervention tels que le modèle de l’atteinte des buts, de l’acquisition des ressources, des processus internes, le modèle politique ou encore de la légitimité sociale (que nous ne détaillerons pas ici). Ces modèles procèdent de différentes représentations conceptuelles de l’intervention ellemême. Il existe par ailleurs des approches opérationnelles pour apprécier l’intervention; le modèle du zéro défaut, le modèle comparatif des interventions, et le modèle normatif du système d’action rationnel.

La première observation que suggère cette panoplie de modèles, est que ceux-ci reflètent des points de vue légitimes et qu’ils peuvent être appropriés à des moments différents par des acteurs différents. La deuxième observation est que ces modèles peuvent conduire à des appréciations contradictoires d’une même intervention.

Dès lors, pour aboutir à une conception générique de l’intervention complexe, il faut reconnaître le caractère paradoxal du concept et reconnaître que « deux propositions opposées, qui bien que contradictoires, sont également nécessaires pour traduire une perception de la réalité qu’aucune des propositions ne contient en elle-même » (Slaate, 1968). Dans ce sens, l’intervention complexe est paradoxale à deux niveaux: d’une part, son évaluation, selon différents modèles, peut amener à des jugements apparemment contradictoires alors qu’en fait, les jugements traduisent des perceptions également nécessaires de la réalité. Et d’autre part, les déterminants de l’intervention complexe selon différents modèles peuvent être contradictoires. Ainsi, par exemple, une intervention complexe peut être à la fois autonome et dépendante, innovante et stable, et ainsi de suite.

Cette situation nous amène à déduire que pour rendre compte de la nature complexe d’une intervention, il faut adopter une vision configurationnelle (Meyer, Tsui, & Hinings, 1993) qui soit en mesure de prendre simultanément en considération tous les modèles proposés dans la littérature.

Dans cet article, nous proposons de fonder théoriquement une définition globale et intégrée de la performance d’une intervention complexe, à partir des travaux de Sicotte et al. (1998) qui s’appuient sur la théorie de l’action sociale de Parsons (Bourricaud, 1981; Parsons, 1937, 1977; Parsons & Shils, 1959; Rocher, 1972). Ces auteurs partent de l’idée qu’un système organisé d’action est performant quand il arrive à réaliser de façon équilibrée les quatre fonctions proposées par Parsons. De même, l’évaluation d’une intervention complexe doit tenir compte de ces quatre fonctions (Figure 2):

Figure 2.

Figure 2

Open in a new tab

Un modèle global et intégré d’évaluation des interventions complexes (le modèle EGIPSS)

  1. Adaptation. Toute intervention doit interagir avec son environnement pour acquérir des ressources, répondre aux besoins, et s’adapter. Dans le court terme, l’intervention doit se procurer les ressources nécessaires au maintien et au développement de ses activités (capacité d’acquisition des ressources, orientation vers les besoins de la population, capacité d’attraction des clientèles, habileté de mobilisation communautaire). Dans le plus long terme, elle doit développer son habileté à se transformer afin de s’adapter aux changements technologiques, populationnels, politiques, et sociaux (habileté à innover et à se transformer).

  2. Atteinte des buts. Cette fonction est liée à la capacité de l’intervention à atteindre des buts fondamentaux. Pour une intervention de santé, il peut s’agir de l’amélioration de l’état de santé des individus et de la population, l’efficacité, l’efficience, l’équité, et la satisfaction des divers groupes d’intérêt.

  3. Intégration des processus de production. Il s’agit du noyau technique de l’intervention. Traditionnellement, c’est à ce niveau qu’on retrouve la majorité des indicateurs qui sont généralement utilisés pour mesurer la performance de l’intervention (volume de services produits, coordination, productivité, qualité des soins).

  4. Maintien et développement des valeurs et de la culture. Cette fonction est celle qui produit du sens, de la cohésion entre les parties de l’intervention. Elle est à l’origine des engagements moraux et culturels des acteurs. Elle facilite et contraint les trois fonctions précédentes.

Le modèle d’évaluation globale et intégrée d’une intervention complexe est fondé sur l’accomplissement des quatre fonctions de Parsons et met en évidence les interactions et les liens réciproques qui existent entre ces fonctions. Dans ce modèle intégrateur, les interactions entre les quatre dimensions qui opérationnalisent la richesse de la théorie parsonienne sont appelées « équilibres ». Les six équilibres du modèle sont:

  1. L’équilibre stratégique entre l’adaptation et l’atteinte des buts: Cet équilibre évalue la compatibilité entre les ressources de l’intervention (l’adaptation) et ses finalités (les buts), ainsi que la pertinence des buts étant donné la capacité d’adaptation de l’intervention à son environnement.

  2. L’équilibre allocatif entre l’adaptation et l’intégration de la production. Cette dimension de la performance évalue la justesse d’allocation des ressources (adaptation) nécessaires à la production et la compatibilité entre les impératifs de la production et les ressources disponibles.

  3. L’équilibre tactique entre l’atteinte des buts et la production. Cet équilibre évalue la capacité des mécanismes de contrôle découlant du choix des buts organisationnels à gouverner le système de production et aussi la pertinence des buts en regard des impératifs de la production.

  4. L’équilibre opérationnel entre le maintien des valeurs et la production. Cette dimension de la performance évalue la capacité des mécanismes de génération des valeurs et du climat organisationnel à mobiliser positivement (ou négativement) le système de production, ainsi que l’impact des impératifs de la production sur le climat et les valeurs organisationnels.

  5. L’équilibre légitimatif entre le maintien des valeurs et l’atteinte des buts. Cet équilibre permet d’apprécier la capacité des mécanismes de génération des valeurs et du climat organisationnel à contribuer à l’atteinte des buts et aussi comment le choix et la poursuite des buts viennent modifier et renforcer (ou miner) les valeurs et le climat.

  6. L’équilibre contextuel entre le maintien des valeurs et l’adaptation. Cette dimension de l’intervention évalue la capacité des mécanismes de génération des valeurs et du climat organisationnel à mobiliser positivement le système d’adaptation; et comment les impératifs et les résultats de l’adaptation viennent modifier et renforcer (ou miner) les valeurs et le climat organisationnel.

En résumé, pour évaluer une intervention complexe en tenant compte du cadre proposé:

  • il faut partir des quatre fonctions que doit assumer tout système organisé d’action: adaptation, atteinte de buts légitimes, intégration des processus de production et maintient des valeurs.

  • il faut explorer toutes les approches et méthodes permettant de rendre compte de ces quatre fonctions et adopter une approche configurationnelle permettant de les analyser simultanément.

Autrement dit, il faut incorporer à l’évaluation, l’analyse des équilibres et des tensions entre les fonctions. L’évaluation pourra ainsi permettre de rendre compte du caractère contingent, complexe, multidimensionnel, et paradoxal de l’intervention.

3. COMMENT ET QUELS OUTILS MOBILISER POUR CONSTRUIRE UN JUGEMENT PARTAGÉ PAR LES DIFFÉRENTES PARTIES PRENANTES SUR L’INTERVENTION QUI PUISSE SE TRADUIRE EN ACTION?

Construire un jugement partagé par les différentes parties sur l’intervention est enjeu de taille, parfaitement décrit par Hannah Arendt:

Plus les positions des gens que j’ai présentes à l’esprit sont nombreuses pendant que je réfléchis sur une question donnée et mieux je puis imaginer comment je me sentirais si j’étais à leur place, plus forte sera ma capacité de pensée représentative et plus valide seront mes conclusions finales, mon opinion. C’est cette aptitude à une « mentalité élargie » qui rend les hommes capable de juger.

(Arendt, 1972, p. 307)

et on devrait ajouter: être en mesure d’agir.

En effet, pour faciliter l’émergence « d’une mentalité élargie » ou pour arriver à une « objectivité transpositionnelle » (Sen, 1994), on peut partir des quelques idées suivantes:

  1. Il faudrait que les chercheurs maintiennent en tension les deux mouvements de la connaissance: l’analyse et la compréhension. L’analyse qui permet d’assurer la validité des observations et la compréhension qui donne le recul nécessaire pour arriver à des interprétations qui ont du sens (qui sont achetables) pour le plus grand nombre possible de personnes et qui permettent d’intégrer les connaissances provenant du plus grand nombre de positions possibles.

  2. Pour que se développent des « mentalités élargies », il faudrait que l’imagination nécessaire pour se mettre à la place de l’autre soit désintéressée: « La qualité même d’une opinion, aussi bien que d’un jugement dépend de son degré d’impartialité » (Arendt, 1972, p. 308). La capacité des chercheurs de convaincre, en d’autres mots leur crédibilité, repose de façon critique non seulement sur leurs compétences, mais surtout sur leur indépendance par rapport aux groupes de pression et aux intérêts des différents groupes dans la société.

  3. Organiser la formation des chercheurs de façon à ce qu’ils reconnaissent qu’ils occupent une position particulière dans le champ de la recherche et le champ académique. Le point de départ de l’objectivité est de savoir que la validité des résultats de leurs travaux est limitée par le point de vue que leur permet la position qu’ils occupent, et qu’il existe d’autres points de vue aussi valides que les leurs. En d’autres termes, ce dont il est question ici est l’ouverture des différents champs disciplinaires et la création d’espaces où une véritable interdisciplinarité serait possible et valorisée. Il faudrait que se multiplient des espaces de recherche où la nécessité de travailler en interdisciplinarité s’impose-rait compte tenu de la nature des problèmes à résoudre. Un grand pas serait réalisé si les chercheurs pouvaient re-connaître leur interdépendance. Accepter l’idée que chacun ne possède que quelques morceaux d’un grand casse-tête (puzzle), morceaux dont la valeur n’apparaît que lorsqu’ils complètent d’autres morceaux détenus par d’autres.

  4. Faire en sorte que les chercheurs soient en mesure de comprendre que la recherche est une pratique sociale. Que l’objectivité de leurs recherches passe par la prise de conscience des déterminants de la position qu’ils occupent. Qu’ils possèdent les concepts nécessaires pour exercer une véritable réflexivité sur leurs pratiques de recherche.

En nous inscrivant dans la perspective de ce modèle intégrateur, nous pouvons définir l’évaluation d’une intervention complexe comme suit:

L’évaluation d’une intervention complexe est un construit multidimensionnel qui devrait permettre aux différentes parties prenantes de débattre et d’élaborer un jugement sur les qualités essentielles et spécifiques d’un système organisé d’action en fonction de leurs croyances, connaissances, responsabilités, intérêts, projet pour agir. La qualité d’une telle évaluation se manifeste par sa capacité, d’une part, à tenir compte de chacune des quatre fonctions associées à une intervention complexe (atteinte des buts, adaptation à l’environnement, production des services de qualité, et capacité à maintenir et développer des valeurs communes). D’autre part, évaluer une intervention complexe revient à saisir la capacité de l’intervention à établir et à maintenir une tension dynamique entre la réalisation de ces quatre fonctions.

L’appréciation de la complexité repose ainsi, non seulement sur la mesure d’indicateurs de réussite dans chacune des quatre fonctions de l’organisation, mais aussi sur le caractère dynamique de la tension qui existe entre les quatre pôles, c’est-à-dire sur la capacité de la gouvernance à orchestrer les échanges et les négociations nécessaires pour maintenir un équilibre entre les quatre fonctions par les différents acteurs.

La complexité d’une intervention ne peut se concevoir qu’en relation avec la complexité de chacune de ses composantes et avec celle du réseau constitué par les autres organisations (et interventions) avec lesquelles elle interagit.

(Inspiré de Sicotte, Champagne, & Contandriopoulos, 1998)

Ainsi, la nature complexe, multidimensionnelle, et paradoxale d’une intervention nous amène en tant qu’évaluateurs à adopter des approches non conventionnelles, des approches globales et configurationnelles, pour poser un jugement valide sur cette intervention.

Biographies

André-Pierre Contandriopoulos, Ph.D., est professeur titulaire au département d’administration de la santé de l’Université de Montréal et chercheur de l’Institut de recherche en santé publique de l’Université de Montréal (IRSPUM). Il est membre de la Société Royale du Canada depuis 1996 et de l’Académie canadienne des sciences de la santé depuis 2006. En 2001, il a reçu le prix pour l’avancement de la recherche sur les services de santé de la FCRSS. Ses recherches portent sur l’organisation et le financement des systèmes de santé; la main-d’œuvre médicale; l’évaluation des interventions; les déterminants de la santé des populations; les politiques de santé; et la performance, la gouvernance, et les transformations des systèmes de santé.

Lynda Rey est candidate au doctorat en santé publique à l’Université de Montréal. Elle détient un diplôme en sciences politiques de l’Institut d’Etudes Politiques d’Aix-en-Provence et une maîtrise en coopération et politiques de développement international de la Sorbonne, Paris. Elle a travaillé dans la coopération internationale en tant que coordonatrice de divers projets (VIH/sida, mortalité maternelle et droits de l’Homme). Ses intérêts de recherche concernent les approches participatives en évaluation, l’organisation des systèmes de santé et la promotion de la santé. Sa thèse porte sur l’évaluation de l’implantation du concept d’hôpital promoteur de santé de l’OMS.

Astrid Brousselle, Ph.D., est professeure agrégée au département des sciences de la santé communautaire de l’Université de Sherbrooke et chercheure au Centre de recherche de l’hôpital Charles-LeMoyne. Elle est titulaire d’une chaire de recherche du Canada en Évaluation et amélioration du système de santé (EASY) co-financée par les Instituts de recherche en santé du Canada et le Fonds de recherche du Québec en Santé. Ses intérêts de recherche portent sur la conception d’approches novatrices en évaluation. Son objectif est d’utiliser l’évaluation comme un levier pour l’amélioration du système de santé.

François Champagne, Ph.D., est professeur titulaire au département d’administration de la santé de l’Université de Montréal et chercheur de l’ IRSPUM. Il a été chercheur-boursier du Fonds de la recherche en santé du Québec de 1983 à 1994. Il a été un des co-responsables de HealNet/Relais, un des réseaux canadiens de centres d’excellence dédié à la recherche sur l’optimisation de l’utilisation de l’évidence dans les décisions de santé. Il a publié des livres sur l’utilisation de l’épidémiologie en gestion, les méthodes de recherche, l’évaluation, la qualité des soins, et la performance des organisations de soins de santé. Ses recherches actuelles portent les stratégies organisationnelles, les réseaux interorganisationnels et les système intégrés de soins, la performance organisationnelle, ainsi que l’utilisation des connaissances dans les décisions.

Contributor Information

André-Pierre Contandriopoulos, Université de Montréal, Montréal, Québec.

Lynda Rey, Université de Montréal, Montréal, Québec.

Astrid Brousselle, Université de Sherbrooke, Longueuil, Québec.

François Champagne, Université de Montréal, Montréal, Québec.

RÉFÉRENCES

  1. Alkin MC. A guide for evaluation decision makers. Thousand Oaks, CA: Sage; 1985. [Google Scholar]
  2. Alkin MC. Evaluation theory development, II. In: McLaughlin Dans MW, Phillips DC., editors. Evaluation and education at quarter century. Chicago, IL: University of Chicago Press; 1991. pp. 91–112. [Google Scholar]
  3. Arendt H. La crise de la culture: huit exercices de pensée politique. Paris, France: Gallimard; 1972. Vérité et politique. [Google Scholar]
  4. Atlan H. La cellule vivante: un paradigme des systèmes naturels complexes. Vol. 18. Sèvres, France: EDK; 2002. [Google Scholar]
  5. Bourricaud F. The sociology of Talcott Parsons. Chicago, IL: University of Chicago Press; 1981. [Google Scholar]
  6. Brousselle A, Champagne F, Contandriopoulos A-P, Hartz Z. L’évaluation: concepts et méthodes. Montréal, QC: Presses de l’Université de Montréal; 2009. [Google Scholar]
  7. Butcher RB. National Forum on Health. Vol. 5. Québec, QC: MultiMondes; 1998. Foundations for evidence-based decision making. Dans Canadian health action: Building on the legacy; pp. 259–290. [Google Scholar]
  8. Contandriopoulos D, Brousselle A, Kedoté NM. Evaluating interventions aimed at promoting information utilization in organizations and systems. Healthcare Policy/Politiques de Santé. 2008;4(1):89–107. [PMC free article] [PubMed] [Google Scholar]
  9. Cousins JB, Earl LM. The case for participatory evaluation. Educational Evaluation and Policy Analysis. 1992;14(4):397–418. [Google Scholar]
  10. Cronbach LJ. Course improvement through evaluation. Teachers College Record. 1963;64:672–683. doi: 10.1007/0-306-47559-6_14. [DOI] [Google Scholar]
  11. Cronbach LJ, Ambron SR, Dornbusch SM, Hess RD, Hornik RC, Phillips DC, et al. Toward reform of program evaluation: Aims, methods, and institutional arrangements. San Francisco, CA: Jossey-Bass; 1980. [Google Scholar]
  12. Johnson RB. Toward a theoretical model of evaluation utilization. Evaluation and Program Planning. 1998;21(1):93–110. [Google Scholar]
  13. Lavis JN. Research, public policymaking, and knowledge-translation processes: Canadian efforts to build bridges. Journal of Continuing Education in the Health Professions. 2006;26(1):37–45. doi: 10.1002/chp.49. [DOI] [PubMed] [Google Scholar]
  14. Lavis JN, Robertson D, Woodside JM, McLeod CB, Abelson J. How can research organizations more effectively transfer research knowledge to decision makers? Milbank Quarterly. 2003;81(2):221–248. doi: 10.1111/1468-0009.t01-1-00052. [DOI] [PMC free article] [PubMed] [Google Scholar]
  15. Meyer AD, Tsui AS, Hinings CR. Configurational approaches to organizational analysis. The Academy of Management Journal. 1993;36(6):1175–1195. [Google Scholar]
  16. Morin E. Introduction à la pensée complexe. Paris, France: ESF; 1990. [Google Scholar]
  17. Morin E, Le Moigne J. L’intelligence de la complexité. Paris, France: L’Harmattan; 1999. [Google Scholar]
  18. Parsons T. The structure of social action. New York, NY: McGraw-Hill; 1937. [Google Scholar]
  19. Parsons T. Social systems and the evolution of action theory. New York, NY: Free Press; 1977. [Google Scholar]
  20. Parsons T, Shils EA. Toward a general theory of action. Cambridge, MA: Harvard University Press; 1959. [Google Scholar]
  21. Patton MQ. Utilization-focused evaluation. Thousand Oaks, CA: Sage; 1997. [Google Scholar]
  22. Pawson R. Evidence-based policy: In search of a method. Evaluation. 2002a;8(2):157–181. [Google Scholar]
  23. Pawson R. Evidence-based policy: The promise of “realist synthesis”. Evaluation. 2002b;8(3):340–358. [Google Scholar]
  24. Provus MM. Discrepancy evaluation for educational program improvement and assessment. Berkeley, CA: McCutchan; 1971. [Google Scholar]
  25. Rocher G. Talcott Parsons et la sociologie américaine (1ière éd.) Paris, France: Presses universitaires de France; 1972. [Google Scholar]
  26. Scriven M. Pros and cons about goal-free evaluation. Evaluation Comments. 1972;3(4):1–4. [Google Scholar]
  27. Sen A. Objectivity and position: assessment of health and well-being. In: Chen Dans LC, Kleinman A., editors. WarwNC Health and Social Change in International Perspective. Cambridge, MA: Harvard University Press; 1994. [Google Scholar]
  28. Shiell A, Hawe P, Gold L. Complex interventions or complex systems? Implications for health economic evaluation. BMJ. 2008;336(7656):1281–1283. doi: 10.1136/bmj.39569.510521.AD. [DOI] [PMC free article] [PubMed] [Google Scholar]
  29. Sicotte C, Champagne F, Contandriopoulos AP. La performance organisationnelle des systèmes publics de santé. Ruptures. 1998;6(1):34–46. [Google Scholar]
  30. Slaate H. The pertinence of the paradox: The dialectics of reason-in-existence. New York, NY: Humanities Press; 1968. [Google Scholar]
  31. Stake R. The countenance of educational evaluation. Teachers College Record. 1967;68:523–540. [Google Scholar]
  32. Stufflebeam DL, Kappa P. Educational evaluation and decision making. Itasca, IL: Peacock; 1972a. [Google Scholar]
  33. Stufflebeam DL, Kappa P. Evaluation as enlightenment for decision-making. lIl. Itasca, IL: Peacock; 1972b. [Google Scholar]
  34. Weiss CH. The many meanings of research utilization. Public Administration Review. 1979;39(5):426–431. [Google Scholar]
  35. Weiss CH. Policy research in the context of diffuse decision making. Journal of Higher Education. 1982;53(6):619–639. [Google Scholar]
  36. Weiss CH. Reports on topic areas. Evaluation for decisions: Is anybody there? Does anybody care? American Journal of Evaluation. 1988;9(1):5–19. [Google Scholar]
  37. Weiss CH. Where politics and evaluation research meet. American Journal of Evaluation. 1993;14(1):93–106. [Google Scholar]

RESOURCES