Skip to main content
Canadian Journal of Public Health = Revue Canadienne de Santé Publique logoLink to Canadian Journal of Public Health = Revue Canadienne de Santé Publique
. 2018 Oct 5;109(5-6):891–899. doi: 10.17269/s41997-018-0140-8

Validation d’un questionnaire auto-administré sur les valeurs en politique publique de santé

Réjean Hébert 1,, Jean-Herman Guay 2, Bryn Williams-Jones 3, Mathieu Seppey 4
PMCID: PMC6964789  PMID: 30291555

Abstract

Objectives

The aims of this article are to describe the development of a self-administered questionnaire assessing the core values in the field of public health (radardesvaleurs.com) and to report the results of a study testing the questionnaire’s test-retest reliability, internal consistency and construct validity.

Method

A 24-item questionnaire grounded in the conceptual framework of Shalom H. Schwartz (2000) was developed by a group of international experts in public health. Six scores were generated, each linked to a specific value and put on three axes: individualism-equity, autonomy-conformity and risk-security. The questionnaire was submitted to students attending the School of Public Health of the Université de Montréal (ESPUM) (n = 700). A total of 401 students completed the questionnaire, 52 of whom completed it again one month later.

Results

For the test-retest reliability, all percentages of agreement were equal or superior to 60% except for a single question (50%). All Cohen’s kappa coefficients of individual items were strong (> 0.60) except for three questions which presented a very high percentage of agreement. The Intraclass Correlation coefficients of the values’ scores varied between 0.27 and 0.77. The three axes’ internal consistency was estimated by Cronbach’s alphas (between 0.46 and 0.74). The exploratory factorial analysis only partially confirmed the questionnaire’s theoretical structure.

Conclusion

Despite the limits of the results, the questionnaire has an interesting level of reliability and validity, which makes its pedagogical use pertinent to pursue. The limitation to four items/value, as well as the representativeness of the sampling (ESPUM students), could explain certain empirical shortcomings of the questionnaire.

Keywords: Questionnaire, Values, Public health policy, Training

Introduction

Il existe, tant dans les sociétés que dans les grandes institutions, une correspondance fondamentale entre leurs systèmes collectifs de valeurs et de représentation, et leurs modalités d’organisation et de régulation. Cette correspondance fait en sorte que le système symbolique (valeurs) se reflète dans les structures matérielles comme les politiques publiques et les organisations qui les appliquent. Inversement, ces structures constituent la manifestation tangible des valeurs (Contandriopoulos 2008), ce qui est plus en évidence lors des grandes réformes ou changements. Comme l’affirme Donabedian (1973) (p.1) : « les administrateurs doivent apprendre à identifier et apprécier le rôle des valeurs sociales dans les transformations qui sont proposées. Ils doivent en particulier prendre conscience de leurs propres valeurs et comprendre comment elles influencent leurs choix. Le but n’est pas de renier les valeurs mais d’en tenir compte explicitement en tant que facteurs pertinents pour prendre des décisions (traduction libre)». Ainsi, il importe que les dirigeants, gestionnaires et cliniciens du réseau de la santé et des services sociaux soient sensibilisés à l’importance des valeurs dans leur travail. Ils doivent apprécier quelles sont leurs propres valeurs personnelles et professionnelles pour comprendre où celles-ci se situent par rapport aux valeurs des organisations et de la société où ils œuvrent.

Dans le cadre d’un cours en ligne sur les politiques publiques en santé développé en collaboration avec des chercheurs de l’Université Libre de Bruxelles, l’Université de Nice et l’Université de Montréal (Hébert et al. 2017), il nous est apparu important que les étudiants en santé publique apprennent à identifier et apprécier le rôle des valeurs des citoyens, des professionnels, des dirigeants et des institutions dans le développement des politiques publiques. Pour ce faire, nous devons disposer d’un outil qui permette à l’étudiant d’apprécier ses propres valeurs, mais une recension des écrits ne nous a pas permis d’identifier un questionnaire déjà développé et validé à cette fin. Nous avons donc entrepris de construire un tel questionnaire et cette étude vise à en faire une première validation empirique. L’objectif de la démarche est de permettre à l’étudiant, par le biais d’un questionnaire auto-administré, d’identifier les valeurs auxquelles il adhère et de positionner ces valeurs par rapport aux grandes idéologies politiques présentes dans les sociétés occidentales.

Nous décrirons d’abord le processus de construction du questionnaire pour ensuite présenter la version expérimentale. La recherche visant à vérifier la fidélité et la validité du questionnaire développé sera ensuite présentée.

Construction du questionnaire

Pour construire le questionnaire, nous avons d’abord réuni un panel de six experts internationaux en santé publique : médecins ou PhD de santé publique provenant du Canada, de France et de Belgique. Ces experts nous ont permis d’identifier un cadre de référence, de sélectionner les valeurs déterminantes pour la santé publique et de construire des items permettant de capter ces valeurs.

Cadre conceptuel

Les valeurs sont comparables à de grands axes qui orientent les idéologies et la pratique, expriment des principes éthiques, inspirent l’action ou les décisions et qui peuvent, à l’occasion, provoquer des sentiments de culpabilité ou même de la détresse morale si la pratique s’en éloigne. Elles sont des référents à la fois collectifs et individuels, à la fois systématisés dans une culture dominante et individualisés dans une éthique personnelle et professionnelle (Becquart-Leclercq 1982).

Pour élaborer un cadre conceptuel des valeurs importantes en politique publique de santé, l’approche de Shalom H. Schwartz (Schwartz and Sagie 2000) a été privilégiée. Selon Schwartz, de nombreuses études ont porté sur les valeurs dans une perspective interculturelle et la majorité d’entre elles ont mis l’accent sur l’importance des différences entre les valeurs des groupes ou des sociétés étudiés, et comment ces différences peuvent être expliquées. Schwartz introduit une nouvelle perspective pour pousser plus loin cette compréhension : les valeurs consensuelles. Autrement dit, il se concentre sur la façon dont les sociétés diffèrent selon la priorité que leurs membres accordent à des valeurs similaires. On cherche donc à comprendre le degré d’homogénéité ou d’hétérogénéité de certaines valeurs au sein des sociétés. Il existe une longue tradition qui postule que les valeurs consensuelles sont à la base de l’ordre social en renforçant la coopération et en réduisant les risques d’utiliser la violence pour résoudre les conflits. Elles sont également à l’origine du sentiment d’appartenance qui soude les membres d’une société, elles facilitent la définition d’objectifs communs et elles permettent de s’entendre sur la façon d’atteindre ces objectifs.

Dans ses travaux, Schwartz a identifié dix grands domaines de valeurs communes, auxquelles certaines autres valeurs peuvent être associées. Il s’agit de l’autonomie, de la stimulation, de l’hédonisme (ou la recherche du plaisir), de la réussite, du pouvoir, de la sécurité, de la conformité, de la tradition, de la bienveillance et de l’universalisme (Schwartz and Sagie 2000). Pour les besoins de l’exercice, nous avons choisi d’en sélectionner ou regrouper quelques-uns qui permettent de saisir plus aisément les tensions qui peuvent survenir entre certains domaines de valeurs dans le domaine des politiques publiques en santé. Les domaines de valeurs retenus sont définis dans le tableau 1.

Tableau 1.

Les domaines de valeurs retenues pour la construction du questionnaire

Type Définition Valeurs associées
Pouvoir et réussite (individualisme) Succès personnel obtenu grâce à la manifestation de compétences socialement reconnues. Priorité des valeurs, droits et des intérêts de l’individu par rapport à ceux du groupe

Liberté individuelle

Ambition

Indépendance

Domination des personnes

Stimulation Besoin de nouveauté et défis dans la vie

Tolérance au risque

Innovation

Audace

Autonomie Indépendance de la pensée et de l’action

Curiosité

Créativité

Sécurité Harmonie et stabilité de la société, des relations et de soi

Sécurité nationale

Ordre social

Conformité et tradition Se conformer à la norme sociale, respecter et accepter les coutumes et les idées portées par la tradition ou la religion

Discipline personnelle

Obéissance

Respect de la hiérarchie

Respect des traditions

Bienveillance et universalisme Préservation et amélioration du bien-être des personnes. Protection du bien-être de tous les humains et de la nature

Responsabilité

Don de soi

Ouverture d’esprit

Justice sociale

Équité

Protection de l’environnement

Tableau adapté de Schwartz and Sagie (2000)

On retient ainsi six domaines de valeurs qui sont en tension deux à deux selon trois axes. La valeur de bienveillance et universalisme (équité) s’oppose à la valeur de réussite et pouvoir (individualisme). Ce premier axe comporte ainsi deux pôles : le dépassement de soi et l’affirmation de soi. Ensuite, l’autonomie (créativité) peut être mise en tension avec la conformité (respect des traditions); enfin, la stimulation (tolérance au risque) s’oppose à la sécurité et au respect de l’ordre. Ces deux derniers axes peuvent être regroupés en opposant l’ouverture au changement à la continuité et la conservation. La figure 1 schématise le cadre de référence retenu.

Fig. 1.

Fig. 1

Cadre conceptuel à la base du développement du questionnaire

Développement des items

Pour chacun des six domaines de valeurs retenus, des questions pertinentes à la santé publique ont été générées par l’équipe de recherche et le panel d’experts. Ces questions devaient être simples, affirmatives, univoques en évitant une formulation pouvant provoquer un biais de désirabilité sociale. À partir d’une quarantaine d’items, nous avons retenu six questions par valeurs pour un total de 24 items. Les questions retenues étaient celles qui satisfaisaient le mieux les critères selon le panel d’experts et l’équipe de recherche.

Comme choix de réponses, nous avons retenu une échelle de Likert à cinq degrés : fortement en désaccord, plutôt en désaccord, neutre, plutôt en accord, fortement en accord. Comme les six domaines de valeurs s’alignent selon trois axes, cette façon de faire permet d’utiliser chaque question pour documenter deux domaines opposés. Ainsi, la question « Le secteur privé devrait avoir davantage de place dans le système de santé » correspond au domaine de valeur réussite et pouvoir (individualisme) lorsque le sujet est en accord avec la proposition et au domaine bienveillance et universalisme (équité) lorsqu’il est en désaccord. Le système de cotation prévoit deux points pour les réponses fortement en accord ou en désaccord et un point pour les réponses plutôt en accord et en désaccord; ce système de cotation n’est pas apparent sur le questionnaire. Les moyennes des scores sont ensuite ramenées sur une échelle de trois pour la présentation des résultats. Un diagramme radar permet de situer le sujet selon les six domaines de valeurs et les trois axes (voir la figure 3 pour des exemples de diagramme radar).

Fig. 3.

Fig. 3

Diagramme radar de quelques répondants

La version expérimentale a été prétestée auprès de l’équipe de recherche et du panel d’experts et quelques modifications ont été apportés à certaines questions. Le questionnaire a aussi été utilisé dans le cadre de deux cours de maîtrise lors d’une séance sur les valeurs. Les étudiants ont été invités à commenter l’acceptabilité du questionnaire, la compréhension des questions et le temps de passation.

Protocole de validation

L’objectif de cette recherche est de tester la fidélité test-retest, la cohérence interne et la validité de construit du questionnaire.

Méthode d’échantillonnage et recrutement

Dans un premier temps (vague 1), tous les étudiants de deuxième et troisième cycles de l’École de santé publique de l’Université de Montréal (n = 700) ont été sollicités par courriel pour participer à l’étude. Une première relance fut effectuée deux semaines après l’envoi du courriel d’invitation initiale et une seconde relance un mois après en utilisant le Tailored Design Method de Dillman et al. (2014). Une partie des répondants a été ensuite sollicitée une deuxième fois pour remplir le questionnaire dans un délai d’un mois suivant la réception du premier questionnaire afin de vérifier la fidélité test-retest. Le délai d’un mois nous apparaît suffisant pour éviter un biais de mémoire. Lorsque le nombre de répondants à ce deuxième questionnaire a atteint la taille d’échantillon nécessaire, nous avons cessé de solliciter les répondants pour compléter un deuxième questionnaire. Pour les analyses autres que la fidélité test-retest, seules les réponses de la première passation du questionnaire ont été retenues.

Dans un deuxième temps (vague 2), le questionnaire a été complété par de nouveaux étudiants de deux cours donnés aux sessions d’automne et d’hiver. Aucune information autre que les réponses au questionnaire n’a été recueillie pour assurer la confidentialité absolue des réponses et éviter une interférence indue du professeur responsable.

Analyse

Nous décrivons d’abord la distribution des réponses à chaque question et la distribution des scores de chacun des domaines de valeurs. La cohérence interne est estimée à partir des scores bruts à chacun des items des axes séparément en utilisant le coefficient Alpha de Cronbach (Cronbach 1972). La fidélité test-retest a été estimée en utilisant le kappa pondéré de Cohen pour chacune des questions; la pondération était proportionnelle à l’écart entre les réponses (Cohen 1960). Les coefficients de corrélation intra-classe (CCIC) ont été calculés sur les scores de chacun des six domaines de valeurs (Bravo and Potvin 1991). Selon Donner et Eliasziw (1987), un échantillon de 40 sujets est suffisant pour estimer un CCIC supérieur à 0,80 avec une probabilité d’erreur alpha de 0,05.

La validité de construit a été appréciée en utilisant une analyse factorielle exploratoire pour évaluer de façon empirique si les réponses aux questions reproduisent la structure du questionnaire en trois axes. Étant donné l’asymétrie de la distribution des réponses et la corrélation probable entre les items, nous avons utilisé la méthode ULS avec une rotation oblique (Promax) (Lorenzo-Seva and Ferrando 2006). Nous avons aussi repris l’analyse factorielle en déterminant le nombre de facteurs à partir d’un critère empirique : un index de saturation (« ss loading ») supérieur à 1. Nous rapportons deux indices de validité de la solution factorielle tel que suggéré par David E. Kenny en 2015 pour des échantillons de plus de 400 sujets (Kenny 2015) : l’indice de fidélité factorielle de Tucker-Lewis (Tucker and Lewis 1973) qui devrait être supérieur à 0,95, et le Root Mean Square Error of Approximation (RMSEA) dont les balises d’interprétation sont 0,01, 0,05 et 0,08 pour des ajustements excellents, bons et médiocres respectivement (MacCallum et al. 1996). Pour la taille de l’échantillon, Costello et Osborne recommande un index sujets/item de 20:1 (Costello and Osborne 2005), alors que Rouquette et Falissard établissent le nombre minimal de sujets à 300, sans égard au nombre d’items (Rouquette and Falissard 2011). Toutes les analyses ont été réalisées avec le package « psych » du logiciel libre R.

Considérations éthiques

Les participants ont été recrutés au moyen d’un courriel présentant le protocole et précisant les conditions de participation (participation volontaire et anonyme). Un code d’identité a été utilisé pour identifier les sujets afin d’apparier leurs réponses pour le test-retest. Une fois l’appariement réalisé, les données ont été anonymisés par l’auxiliaire de recherche (MS). Le protocole a été approuvé par le Comité d’éthique de la recherche de l’Université de Montréal (CÉRES).

Résultats

Dans la première vague, 152 sujets ont complété le questionnaire; nous avons dû éliminer 7 sujets car leurs réponses à certains items étaient incomplètes. Pour le test-retest, 52 sujets ont complété le questionnaire à deux reprises. Dans la deuxième vague, 256 nouveaux étudiants ont complété le questionnaire pour un total de 401 participants.

Le tableau 2 présente la distribution des réponses à chacune des questions. On remarque une distribution très déséquilibrée des réponses aux questions 5, 12, 13 et 19. Les pourcentages d’accord parfaits des réponses aux deux passations sont tous au-dessus de 60 %, sauf pour la question 18 (50 %). Les kappas pondérés de Cohen sont tous supérieurs à 0,60, sauf pour les questions 5, 13 et 18.

Tableau 2.

Distribution (n = 401) et fidélité test-retest des réponses (n = 52)

No. Questions Distributions des réponses (%) % d’accord Kappa pondéré
FD PD N PA FA
Réussite et pouvoir (Individualisme - I) c. bienveillance et universalisme (Équité - E)
 11 Le secteur privé devrait avoir davantage de place dans le système de santé (I) 28 32 19 15 6 77 0.87
 16 L’adoption de saines habitudes de vie est un choix personnel (I) 10 37 9 30 14 60 0.78
 3 L’assistance sociale incite les gens à ne pas travailler (I) 21 44 14 18 3 69 0.76
 23 Le libre marché est le meilleur moyen d’assurer la qualité des services (I) 20 31 30 15 4 77 0.88
 5 Des logements abordables et de bonne qualité devraient être accessibles pour les personnes en situation de pauvreté (E) 0 1 1 29 68 73 0.36
 19 L’état doit intervenir pour favoriser l’adoption de saines habitudes de vie (E) 0 2 3 41 54 73 0.73
 7 L’État doit légiférer davantage pour limiter l’usage de la cigarette (E) 2 12 15 37 34 67 0.73
 21 Pour combattre le VIH, des préservatifs devraient être distribués régulièrement dans toutes les écoles (E) 5 12 13 36 34 63 0.81
Créativité (Autonomie - A) c. tradition (Conformité - C)
 9 Les patients en phase terminale devraient avoir le droit de mettre fin à leur vie avec l’aide d’un médecin (A) 8 7 12 31 41 83 0.94
 10 L’avortement devrait être permis et accessible dans tous les cas, peu importe la raison (A) 10 11 8 22 49 67 0.78
 12 L’éducation et la recherche sont les meilleurs moyens d’assurer la prospérité économique (A) 0 4 10 46 39 69 0.63
 24 L’adoption devrait être permise pour les couples homosexuels (A) 10 6 15 18 52 73 0.84
 14 Le mariage entre personnes de même sexe ne devrait pas être permis (C) 66 7 15 2 9 85 0.95
 8 L’éducation des enfants serait mieux assurée si les femmes demeuraient davantage à la maison (C) 55 27 7 9 1 61 0.66
 15 L’arrivée massive d’immigrants menace la culture et les coutumes du pays d’accueil (C) 39 35 13 12 1 65 0.62
 1 La charité est le meilleur moyen d’aider les pauvres (C) 17 50 12 16 4 71 0.70
Ordre (Sécurité - S) c. stimulation (tolérance au Risque - R)
 17 De plus longues peines de prison sont le meilleur moyen de prévenir les crimes (S) 34 39 12 9 5 77 0.83
 4 Les sites d’injection supervisée contribuent à la criminalité (S) 46 33 15 4 2 65 0.70
 20 Les immigrants demandeurs d’asile devraient être détenus le temps de vérifier leur identité (S) 18 27 23 24 8 60 0.70
 13 On doit obliger l’inscription des armes à feu dans un registre (S) 1 0 7 20 72 77 0.41
 18 Les données personnelles des utilisateurs d’Internet devraient être protégées contre l’intrusion des agences gouvernementales de renseignement (R) 1 15 21 38 24 50 0.52
 22 Les lois pour contrôler la vitesse au volant devraient être moins sévères (R) 49 36 9 5 1 73 0.66
 2 La généralisation des caméras dans les lieux publics est une atteinte à la vie privée (R) 11 37 17 26 9 61 0.73
 6 La consommation de cannabis devrait être dépénalisée (R) 17 20 23 20 18 73 0.87

La lettre entre parenthèses indique le domaine de valeur associée aux réponses en accord

FD fortement en désaccord, PD plutôt en désaccord, N neutre, PA plutôt en accord, FA fortement en accord

Le tableau 3 présente les caractéristiques des scores pour chacune des valeurs. Pour la valeur de conformité, la distribution des réponses est très anormalement distribuée comme le démontre la figure 2. Les alphas de Cronbach des trois axes sont de 0,56, 0,74 et 0,46. Les coefficients de corrélation intra-classe varient de 0,27 à 0,77.

Tableau 3.

Distribution et fidélité des scores de chacun des domaines de valeur et cohérence interne (Alpha de Cronbach) des axes

Moyenne (/3) (n = 401) Médiane (/3) (n = 401) Coefficient corrélation intra-classe (n = 52) Alpha de Cronbach (n = 401)
Individualisme 0.43 0.40 0.27 0.56
Équité 1.53 1.50 0.51
Autonomie 1.77 1.90 0.66 0.74
Conformité 0.40 0.20 0.63
Risque 0.98 0.90 0.56 0.46
Sécurité 0.94 0.90 0.77

Fig. 2.

Fig. 2

Distribution des scores (sur 3) à chacune des six domaines de valeur (n = 401)

Le tableau 4 présente la saturation de chaque item aux facteurs de l’analyse exploratoire à trois facteurs.

  • Pour l’axe individualisme-équité, les saturations sont telles qu’attendues pour le facteur 1, sauf pour les questions 7 et 19 plutôt associées au facteur 3 et la question 21 associée surtout au deuxième facteur. Pour ce premier axe, cinq des huit indicateurs sont donc conformes aux attentes initiales.

  • De même, les questions de l’axe autonomie-conformité saturent surtout le facteur 2, sauf pour la question 12 qui est surtout associée au facteur 3 et les questions 1 et 15 qui sont associées au facteur 1. Ici encore cinq des huit indicateurs sont conformes aux attentes.

  • Enfin, pour l’axe sécurité-risque, quatre questions saturent le facteur 3 tel qu’attendu. Une autre (6) sature principalement un autre facteur mais a une saturation attendue aussi du facteur 3. Les questions 4, 17 et 20 ne sont pas associées au facteur 3.

Tableau 4.

Analyse factorielle exploratoire (FACTOR: ULS Promax) : niveau de saturation (n = 401)

Axe Question Facteur 1 Facteur 2 Facteur 3
Individualisme 3 0.56
11 0.67
16 0.48
23 0.71
Équité 5 − 0.39 0.29
7 0.15 − 0.21 0.36
19 − 0.15 0.47
21 0.12 0.60 0.20
Autonomie 9 0.83
10 0.76
12 − 0.11 0.20
24 0.89
Conformité 1 0.34
8 0.18 − 0.33 − 0.12
14 − 0.91
15 0.37 − 0.12
Sécurité 4 − 0.36 − 0.11
17 0.48 − 0.15
20 0.43 0.13
13 − 0.13 0.41
Risque 2 − 0.28 − 0.35
6 − 0.19 0.42 − 0.13
18 − 0.14 − 0.29
22 − 0.40

Seules les saturations supérieures à 0,1 sont illustrées

Les saturations en gras représentent la saturation la plus grande de la question à l’un des facteurs

Cette analyse factorielle exploratoire donne des résultats mitigés puisque seulement 14 des 24 indicateurs saturent les facteurs selon les attentes. D’une manière cumulée, les trois premiers facteurs rendent également compte de 32 % de la variance expliquée. La valeur de l’indice de fidélité factorielle de Tucker-Lewis est de 0,88, soit inférieure à la valeur seuil de 0,95. Par contre le RMSEA est de 0,053, ce qui peut être considéré comme un ajustement moyen. L’index de saturation (« ss loading ») de cette solution est inférieure à 1. Seule une solution à deux facteurs présenterait un index de saturation supérieur à 1 mais cette solution n’est pas interprétable et ne reproduit pas le modèle théorique. De plus, l’index de fiabilité factorielle de Tucker-Lewis se détériore (0,82) par rapport à la solution à trois facteurs.

La figure 3 présente les diagrammes radar de quelques participants et offre ainsi une occasion de repérer des profils de valeurs. Par exemple, le répondant 39 affiche une réserve sur les six dimensions, une posture très différente du répondant 50 qui obtient des scores assez élevés sur toutes les dimensions, malgré les possibles paradoxes. D’autres contrastes peuvent être soulignés : le répondant 93 score particulièrement haut sur l’équité, l’autonomie et le risque, et particulièrement bas sur les valeurs opposées. Le répondant 110 offre l’image inverse. Les répondants 14 et 86 s’opposent aussi dans les valeurs qu’ils affichent.

Discussion

Nous avons développé un questionnaire d’auto-évaluation des valeurs selon le modèle conceptuel de Schwartz à partir de six domaines de valeurs organisées en trois axes. À notre connaissance, il s’agit du premier questionnaire permettant d’estimer les valeurs des futurs professionnels de santé publique. Le mode d’organisation du questionnaire en six domaines de valeurs regroupées en trois axes est aussi original. Le questionnaire a été complété par 401 étudiants et 52 d’entre eux l’ont complété de nouveau après un mois afin de vérifier la fidélité test-retest.

La distribution des réponses a été déséquilibrée pour quatre questions. Cela peut être lié aux caractéristiques des répondants qui étudient tous en santé publique et qui partagent plutôt des valeurs sociales démocrates. La distribution des scores des valeurs reflète aussi ce biais : les scores des domaines de valeurs de droite (conformité et individualisme) sont peu élevés.

Pour la fidélité test-retest, les questions 5 et 13 présentaient un taux d’accord élevé (73 % et 77 %) mais un kappa plus faible (0,36 et 0,41), ce qui confirme le paradoxe proposé par Feinstein et Cicchetti d’un kappa faible en présence d’un taux d’accord élevé dû au déséquilibre de la distribution des réponses (Feinstein and Cicchetti 1990). Quoiqu’il en soit, selon les valeurs de référence de Landis et Koch (1977), les autres kappas étaient quand même « forts » (supérieur à 0,60) et pour huit questions « presque parfaits » (> 0,80). Par contre, les coefficients de corrélation intra-classe étaient plus faibles, ce qui résulte probablement de la distribution anormale des valeurs violant les préalables de cette statistique.

La cohérence interne de chacune des trois axes était au-dessus de 0,47. Il n’y a pas consensus sur les valeurs acceptables de l’alpha de Cronbach. Selon la méta-analyse de Peterson, Nunally et Davis proposent 0,50 comme seuil, du moins pour des recherches préliminaires (Peterson 1995). Rouban obtient 0,60 pour une échelle de défense du secteur public (Rouban 2000). Plus récemment, Tavakol et Denning proposent plutôt des valeurs supérieures à 0,70, ce qui n’est atteint que par un seul axe pour notre questionnaire (Tavakol and Dennick 2011).

L’analyse factorielle a produit des résultats mitigés. On n’a retrouvé que partiellement la structure théorique anticipée. Il faut mentionner que par souci de rapidité de passation, le nombre de questions par facteur a été réduit à 8 (4 par valeur), ce qui a une incidence sur la cohérence et l’analyse factorielle.

Quoiqu’il en soit, le Radar des valeurs (www.radardesvaleurs.com) permet d’explorer l’univers complexe des valeurs et des idéologies politiques dans un contexte pédagogique. Nous estimons que l’utilisation du radar des valeurs permet d’envisager les valeurs qui seront mobilisées lors de la lecture des problèmes de gestion des soins de santé; ces mêmes valeurs auront également des conséquences sur les solutions mises de l’avant.

Au final, l’évaluation des valeurs des répondants fondée sur une approche analogue à celle de Schwartz permet d’obtenir une représentation organisée des valeurs. Celle-ci pourrait être sans aucun doute améliorée en modifiant certaines questions. Il serait aussi intéressant d’effectuer la même enquête auprès de gens engagés concrètement dans la gestion des services de santé; certaines distributions, ici fortement asymétriques, présenteraient probablement une autre allure.

Malgré les limites des résultats obtenus, nous croyons qu’il s’agit d’une piste heuristiquement prometteuse tant au plan pédagogique que pour la compréhension des dynamiques internes au sein des équipes de gestionnaires. C’est pour cette raison que ce questionnaire est actuellement intégré à des enseignements généraux sur les valeurs dans les systèmes de santé, tant en santé publique qu’en administration de la santé. Il est aussi intégré au module 2 du cours en ligne sur les politiques publiques élaboré par un consortium d’universités francophones (Hébert et al. 2017).

Remerciements

Les auteurs tiennent à remercier les professeurs André-Pierre Contandriopoulos (École de santé publique de l’université de Montréal), Yves Coppieters (École de santé publique de l’Université Libre de Bruxelles) et Christian Pradier (Département de santé publique de l’Université Nice-Sophia Antipolis) de même que Céline Farley, Cora Brahimi, Dominique Desautels et Georges Thiebaut pour leur participation au développement du questionnaire. Cette étude a été rendue possible grâce au soutien et à la contribution financière du Fond d’impulsion du G3, un partenariat entre les universités de Montréal, Genève et Libre de Bruxelles. Il a aussi bénéficié d’une subvention du Conseil franco-québécois de coopération universitaire.

Contributor Information

Réjean Hébert, Phone: 514 343-6622, Email: Rejean.hebert@umontreal.ca.

Jean-Herman Guay, Email: Jean-herman.guay@usherbrooke.ca.

Bryn Williams-Jones, Email: Bryn.williams-jones@umontreal.ca.

Mathieu Seppey, Email: Mathieu.seppey@umontreal.ca.

Références bibliographiques

  1. Becquart-Leclercq, J. (1982). Valeurs absolues et compromis pratiques dans la politique locale: Une approche sociologique des valeurs politiques. Dans: Revue française de science politique, 32e année, n°2, pp. 223–250.
  2. Bravo G, Potvin L. Estimating the reliability of continuous measures with Cronbach’s alpha or the intraclass correlation coefficient: toward the integration of two traditions. J Clin Epidemiol. 1991;44(4–5):381–390. doi: 10.1016/0895-4356(91)90076-L. [DOI] [PubMed] [Google Scholar]
  3. Cohen J. A coefficient of agreement for nominal scales. Educ Psychol Meas. 1960;20(1):37–46. doi: 10.1177/001316446002000104. [DOI] [Google Scholar]
  4. Contandriopoulos, A. P. (2008). « Fondements idéologiques des systèmes de soin » dans Analyser et comprendre le système de santé: Université de Montréal.
  5. Costello AB, Osborne JW. Best practices in exploratory factor analysis: four recommendations for getting the most from your analysis. Pract Assess Res Eval. 2005;10(7):1–9. [Google Scholar]
  6. Cronbach, L. (1972). The dependability of behavioral measurements. Theory of generalizability of scores and profiles.
  7. Dillman DA, Smyth JD, Christian LM. Internet, phone, mail, and mixed-mode surveys: the tailored design method. Hoboken: John Wiley & Sons; 2014. [Google Scholar]
  8. Donabedian, A. (1973). Aspects of medicalcare administration: specifying requirements for health care.
  9. Donner A, Eliasziw M. Sample size requirements for reliability studies. Stat Med. 1987;6(4):441–448. doi: 10.1002/sim.4780060404. [DOI] [PubMed] [Google Scholar]
  10. Feinstein AR, Cicchetti DV. High agreement but low kappa: I. the problems of two paradoxes. J Clin Epidemiol. 1990;43(6):543–549. doi: 10.1016/0895-4356(90)90158-L. [DOI] [PubMed] [Google Scholar]
  11. Hébert R, Coppieters Y, Pradier C, Williams-Jones B, Brahimi C, Farley C. Développement d’un cours francophone en ligne sur les politiques publiques en santé: une collaboration internationale. Santé Publique. 2017;29(6):821–827. doi: 10.3917/spub.176.0821. [DOI] [PubMed] [Google Scholar]
  12. Kenny, D. A. (2015). Measuring model fit. Retrieved 23/07/2018, 2018, from http://davidakenny.net/cm/fit.htm.
  13. Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. biometrics, 159–174. [PubMed]
  14. Lorenzo-Seva U, Ferrando PJ. FACTOR: a computer program to fit the exploratory factor analysis model. Behav Res Methods. 2006;38(1):88–91. doi: 10.3758/BF03192753. [DOI] [PubMed] [Google Scholar]
  15. MacCallum RC, Browne MW, Sugawara HM. Power analysis and determination of sample size for covariance structure modeling. Psychol Methods. 1996;1(2):130. doi: 10.1037/1082-989X.1.2.130. [DOI] [Google Scholar]
  16. Peterson RA. Une méta-analyse du coefficient alpha de Cronbach. Recherche et Applications en Marketing (French Edition) 1995;10(2):75–88. doi: 10.1177/076737019501000204. [DOI] [Google Scholar]
  17. Rouban, L. (2000). Chapitre 10. La culture politique du secteur public: les chemins de l’utilitarisme. In P. Bréchon, A. Laurent, & P. Perrineau (Eds.), Les cultures politiques des Français (pp. 241–257): Presses de Sciences Po (PFNSP).
  18. Rouquette A, Falissard B. Sample size requirements for the internal validation of psychiatric scales. Int J Methods Psychiatr Res. 2011;20(4):235–249. doi: 10.1002/mpr.352. [DOI] [PMC free article] [PubMed] [Google Scholar]
  19. Schwartz SH, Sagie G. Value consensus and importance: a cross-national study. J Cross-Cult Psychol. 2000;31(4):465–497. doi: 10.1177/0022022100031004003. [DOI] [Google Scholar]
  20. Tavakol M, Dennick R. Making sense of Cronbach’s alpha. Int J Med Educ. 2011;2:53. doi: 10.5116/ijme.4dfb.8dfd. [DOI] [PMC free article] [PubMed] [Google Scholar]
  21. Tucker LR, Lewis C. A reliability coefficient for maximum likelihood factor analysis. Psychometrika. 1973;38(1):1–10. doi: 10.1007/BF02291170. [DOI] [Google Scholar]

Articles from Canadian Journal of Public Health = Revue Canadienne de Santé Publique are provided here courtesy of Springer

RESOURCES