Les organisations du secteur public ont de plus en plus à coeur d'offrir un service de qualité et de mesurer leur propre rendement. Bien que ces initiatives de mesure et d'évaluation soient très précieuses, elles portent surtout sur des programmes individuels et non sur des comparaisons avec d'autres organisations.

Ces comparaisons - ou analyses comparatives - peuvent être d'une très grande efficacité pour aider les organisations à apprendre les unes des autres. Grâce à la mesure et à l'analyse comparative, les organisations peuvent évaluer leurs progrès, comprendre où des améliorations s'imposent et relever les pratiques exemplaires.

L'un des principaux outils que les organisations des secteurs public et privé adoptent pour mesurer le rendement et en assurer le suivi est celui du sondage auprès des clients/citoyens. Avec les résultats de ces sondages, les organisations se font une idée de la façon dont les citoyens voient les services et en font l'expérience. Toutefois, la valeur d'un tel sondage est limitée si on ne dispose pas de moyens de comparer les résultats. Bref, les organisations doivent pouvoir faire une analyse comparative de leurs résultats en regard d'un autre ensemble de chiffres - attentes, buts, rendement passé, norme de l'industrie ou rendement d'organisations semblables.

Au cours des dernières années, le secteur public a mis en oeuvre un certain nombre d'initiatives de mesure et d'analyse comparative liées à la prestation des services. En voici quelques exemples :

• L'Indice américain de satisfaction des clients (IASC), un indicateur national de la satisfaction des clients à l'égard de la qualité des biens et services à la disposition des consommateurs finals américains, a été adapté pour mesurer la satisfaction des consommateurs à l'endroit des organismes du gouvernement fédéral américain;
• Le People's Panel, un échantillon représentatif de citoyens du R.-U. qui tient lieu de groupe de réflexion national, est utilisé pour mesurer les attentes des citoyens et leur satisfaction à l'égard de la prestation des services du secteur public, au Royaume-Uni.
• Les citoyens d'abord, un sondage national bisannuel, évalue les attentes, les priorités et les taux de satisfaction des Canadiens à l'égard de la prestation des services par les différents modes d'accès et paliers de gouvernement.

Avec plusieurs années d'expérience au sein de ces compétences, et d'autres également, le moment est maintenant venu de faire le point sur ce que nous avons appris au sujet de la mesure par sondage et des analyses comparatives à ce jour. Dans le cadre de notre examen, nous examinons quelques-unes des leçons qui en découlent et nous nous intéressons ensuite aux mesures que devrait prendre le secteur public pour faire avancer le programme des services grâce à l'analyse comparative.

Mesure par sondage et analyse comparative : leçons tirées

1. Comparer des pommes et des oranges

Étant donné que des initiatives comme Les citoyens d'abord et l'Indice américain de satisfaction des clients correspondent à plusieurs années de résultats de sondages, on dispose maintenant d'un ensemble croissant de données chronologiques qui permet de faire des comparaisons et analyses comparatives internes en regard du rendement passé. Les gouvernements, ministères et organismes peuvent suivre leurs progrès, identifier les points forts et lacunes et fixer des objectifs d'amélioration. Toutefois, un examen plus attentif de la façon dont ces données sont recueillies, analysées et rapportées semble indiquer que les analyses comparatives entre compétences différentes sont toujours difficiles et que des mesures pourraient être prises pour faciliter ces comparaisons.

a) Différence dans les questions

Selon un vieil adage, la question peut définir (ou du moins influencer considérablement) la réponse. En dépit d'une même orientation vers la satisfaction de la clientèle, les sondages utilisés dans différentes compétences font généralement appel à des questions différentes. Par exemple, comparez les questions ci-dessous tirées de Les citoyens d'abord 2000 et du People's Panel du R.-U. :

Dans les deux cas, il s'agit de questions légitimes qui vont permettre d'obtenir des informations précieuses. Toutefois, alors que dans Les citoyens d'abord on demande au répondant de coter la qualité du service, la question du R.-U. porte sur l'évaluation de la satisfaction à l'égard du service. Bien que reliées, les impressions relatives à la qualité et à la satisfaction ne sont manifestement pas les mêmes. Ainsi, toute comparaison serait imparfaite. La cote de satisfaction de 80 (sur 100) attribuée par le People's panel aux bibliothèques n'est pas parfaitement comparable à la cote de qualité du service (77 sur 100) qu'ont obtenue les bibliothèques publiques dans Les citoyens d'abord. Il ne s'agit pas ici de décourager ce type de comparaisons, mais seulement de faire ressortir ses limites.

En fait, même les modifications en apparence négligeables apportées au libellé des questions peuvent souvent avoir des répercussions sur les réponses de sorte qu'il est préférable de laisser les questions inchangées au fil du temps et d'une compétence à une autre.

b) Différence dans les paramètres numériques

La validité d'un exercice d'analyse comparative peut aussi être touchée si deux sondages différents utilisent des paramètres numériques différents. Si on revient à l'exemple donné précédemment, alors que le sondage Les citoyens d'abord demande aux répondants d'attribuer une cote de 1 à 5, le sondage du R.-U. ne met aucun chiffre à côté de chacun des cinq descripteurs. Ainsi, alors que le sondage Les citoyens d'abord rapporte une cotation moyenne pour chaque service, le sondage du R.-U. devrait uniquement rapporter un pourcentage de réponses dans chacune des catégories.

Le même problème se pose lorsque des sondages différents utilisent des échelles numériques différentes. Malheureusement, les résultats obtenus avec une échelle à cinq cotes ne sont pas parfaitement comparables avec ceux obtenus avec une échelle à sept ou dix cotes. On peut recourir à des formules mathématiques compliquées pour tenter de comparer les résultats obtenus avec différentes échelles numériques, mais un tel exercice s'avère moins précis que l'utilisation d'échelles uniformes.   

c) Différence dans les rapports

Même si on utilise des questions et des paramètres identiques, toutefois, il peut y avoir des problèmes dans la façon dont les chiffres sont analysés et rapportés. Les résultats d'un sondage qui demande aux répondants de coter la qualité du service sur une échelle de 1 à 5 peuvent être rapportés de différentes façons. Par exemple, on pourrait rapporter la note moyenne, le pourcentage de répondants qui ont attribué une cote de 5, ou le pourcentage global de répondants qui ont attribué une cote de 4 ou de 5 (les deux cases supérieures). Cette fois encore, aucun des choix exercés pour rapporter les résultats n'est nécessairement mauvais. La façon d'analyser et de rapporter les données dépend de la connaissance que souhaite acquérir l'organisation. Ces différentes façons de présenter les résultats rendent toutefois les analyses comparatives avec l'extérieur plus difficiles.

2. Régler le dilemme des pommes et des oranges

Il existe différents moyens pour surmonter les problèmes énumérés précédemment. Dans leur ouvrage précurseur intitulé Citizen Surveys: How to Do Them, How to Use Them, What they Mean, Miller et Miller ont recours à une méthode de conversion d'échelles appelée échelle de « pourcentage par rapport au maximum » (percentage to maximum - PTM) pour comparer les résultats de 261 sondages différents. Avec l'échelle de PTM, Miller et Miller ont pris les résultats figurant dans des échelles de taille et de formulation différentes et ils les ont convertis en une seule échelle. Bien que la conversion se soit révélée solide lors de la mise à l'essai, il s'agit manifestement d'un exercice complexe que le gestionnaire moyen du secteur public ne voudrait pas avoir à faire.

Il existe une stratégie plus pratique pour surmonter les obstacles à l'analyse comparative : adopter un outil de sondage, une méthodologie et une structure de rapport communs ou normalisés. L'Outil de mesures communes (OMC) est en est un exemple. L'OMC offre à l'utilisateur une banque de questions déjà prêtes pour élaborer un sondage; en l'utilisant, les gestionnaires du secteur public peuvent avoir confiance en leur capacité de faire des analyses comparatives avec d'autres compétences qui posent les mêmes questions. Il ne faudrait pas sous-estimer l'importance d'analyser et de rapporter uniformément les résultats des sondages effectués au moyen de l'OMC, mais l'outil de sondage permet à lui seul d'établir de solides bases méthodologiques pour les comparaisons.

3. Comparabilité des secteurs d'activité

Traditionnellement, les organisations du secteur public qui ont réalisé des sondages sur la satisfaction ont utilisé les résultats pour comparer et classer le rendement de différents services. Toutefois, les expériences récentes en matière d'analyse comparative de sondages sur la satisfaction donnent à penser que ces comparaisons n'ont pas de valeur constructive. Il semble que différents secteurs de service soient prédisposés à des éventails de cotes différents. Par exemple, la note moyenne attribuée au service des parcs tend à se situer entre 70 et 80 (sur 100) tandis que la note moyenne attribuée aux services fiscaux a tendance à se situer entre 55 et 65 (sur 100). En conséquence, le simple fait que le service des parcs d'une compétence obtient une meilleure note que son service fiscal ne signifie pas qu'il offre un bon service des parcs et un mauvais service fiscal. En fait, une compétence dont le service des parcs obtient une note de 68 et dont les services fiscaux obtiennent une note de 63 peut en fait offrir de très bons services fiscaux et de très mauvais services des parcs.

Les raisons d'une telle « prédisposition » ne sont pas claires. Bien qu'il semblerait que les services à caractère réglementaire ou les services auxquels les citoyens ont recours sans le souhaiter réellement puissent donner lieu à des cotes inférieures à celles des services qui procurent des avantages, de récents travaux sur les sondages prouvent que les services de réglementation et de mise en application de la loi peuvent aussi donner lieu à des taux de satisfaction élevés des clients. Il faudra effectuer davantage de recherches dans ce domaine.

En comparant les notes attribuées à des services comparables dans plusieurs compétences, nous commençons à nous faire une idée du classement ordinal des services et des échelles de pointage auxquelles ils sont prédisposés.

Tableau 1 : Comparaison des résultats de sondages sur la qualité du service/la satisfaction (*)

~ Les descriptions de services varient d'une compétence à une autre.

^ Les notes moyennes de l'étude du R.-U. ont été calculées à partir des résultats publiés et elles ne tiennent pas compte des réponses « Sans opinion ».

+ Miller et Miller fait référence au rapport Citizen Surveys: How to Do Them, How to Use Them, What They Mean, écrit par Thomas I. Miller et Michelle A. Miller et publié par l'International City/County Management Association (ICMA) en 1991. Une seconde édition a été publiée en 2001, mais elle ne comprend pas de données mises à jour.

Mesure par sondage et analyse comparative : Utilisation de l'Outil de mesures communes

Comme on l'a indiqué précédemment, l'Outil de mesures communes (OMC) est une banque de questions normalisées, prêtes à utiliser, qui permet d'élaborer un sondage sur la satisfaction de la clientèle. S'il est utilisé de façon normalisée, il facilite également les analyses comparatives au fil du temps et entre les compétences. L'OMC a été publié pour la première fois en 1998. Au cours des trois dernières années, l'OMC a été mis en application plus de 50 fois. Bien que ces utilisations aient donné lieu à divers degrés de succès, chacune d'elles a permis de tirer d'importantes leçons sur la façon d'utiliser et de soutenir un instrument de sondage commun ou normalisé.

À mesure que l'Institut des services axés sur les citoyens élabore sa base de données d'analyses comparatives pour les résultats obtenus avec l'OMC, on demande aux compétences qui ont utilisé ou qui utilisent l'OMC de partager leurs fichiers de données. L'exemple qui suit illustre comment des compétences, même aux premières étapes, peuvent tirer profit d'une participation à la base de données d'analyses comparatives de l'OMC.

Vous trouverez au Tableau 2 une liste des résultats de la question sur la « satisfaction générale » de l'OMC, à la fois comme note moyenne et comme note des deux cases supérieures, en ce qui concerne plusieurs organisations qui ont utilisé l'OMC récemment.  Même avec un nombre limité de fichiers de données, l'ISAC peut commencer à jumeler des organisations. Par exemple, Diversification de l'économie de l'Ouest (DEO) et Manitoba CareerStart (MCS) ont tous deux le mandat de soutenir leurs clients (entreprises de l'Ouest et étudiants respectivement) dans leurs efforts de perfectionnement. Elles doivent toutes deux comprendre les besoins de clients qui poursuivent des objectifs au delà de la relation client/gouvernement. À un niveau, l'ISAC peut regrouper ces organisations puisqu'il s'agit de deux organisations axées sur le service de qualité. À un autre niveau, la base de données d'analyses comparatives peut faciliter l'apprentissage et le partage de pratiques exemplaires entre les organisations. DEO et MCS peuvent comparer les résultats qu'elles ont obtenus aux neuf questions fondamentales ainsi qu'à toute autre question qu'elles ont toutes deux posées, et relever les occasions d'améliorer le service. Il importe de noter que même lorsque les données sont fournies sur une base anonyme, les organisations peuvent encore arriver à savoir s'ils offrent un service qui répond aux attentes de leurs clients tout en se comparant à celui offert par des organisations de même nature.

Tableau 2 : Comparaison de résultats obtenus avec l'OMC

* Mean Scores were calculated based on published reports from each organization.

Mesure par sondages et analyse comparative : Orientations futures

Une fois prises en considération quelques-unes des leçons au sujet de la mesure et de l'analyse comparative qui sont ressorties dans le cadre d'efforts déployés récemment, il est également utile d'examiner quelles mesures pourrait adopter le secteur public pour faire avancer le programme des services au moyen de l'analyse comparative.

1. Analyser les déterminants de la satisfaction

L'analyse comparative est un outil important pour évaluer le service en regard de celui offert par ses pairs, et assurer un suivi des progrès. Il importe de savoir où vous vous situez par rapport au passé, aux autres et à vos objectifs. À terme, toutefois, l'objectif ultime de l'analyse comparative consiste à aider les organisations du secteur public à améliorer la prestation des services. 

En permettant d'établir quelles organisations obtiennent le meilleur pointage, l'analyse comparative peut servir à faire ressortir les pratiques exemplaires dont peuvent tirer profit d'autres compétences. Compte tenu que les pratiques exemplaires sont toujours propres à un contexte, toutefois, mesurer et comparer les déterminants de la satisfaction se révèle un précieux exercice d'amélioration du service. Les citoyens d'abord et Les citoyens d'abord 2000 ont permis d'identifier cinq déterminants de la satisfaction. Ce sont :

• rapidité;
• personnel renseigné, compétent;
• courtoisie et service amical qui « en donne un peu plus »;
• traitement équitable;
• résultat.

L'importance relative des cinq déterminants variera inévitablement selon le secteur de service (ce qui renforce le besoin de se comparer à des pairs), mais le sondage Les citoyens d'abord 2000 a permis de constater la solidité des cinq déterminants dans divers secteurs de service. Lorsque tous ces éléments sont présents dans la prestation des services, les citoyens cotent la qualité du service à 80 (sur 100) ou plus. En mesurant et en comparant comment les bénéficiaires des services cotent un service, en ce qui concerne chacun de ces cinq facteurs, les organisations du secteur public peuvent établir leurs points forts et leurs lacunes et mettre en ouvre des plans d'amélioration du service pour redresser chacune de ces lacunes. 

2. Analyse comparative des modes d'accès

Le sondage Les citoyens d'abord 2000 a révélé que même si les déterminants de la satisfaction sont raisonnablement uniformes d'un secteur de service à un autre (l'accent n'est pas toujours le même), les déterminants varient selon les modes d'accès. Les déterminants de la satisfaction à l'égard d'un service face à face sont différents de ceux des services offerts par téléphone ou Internet. Cette constatation est particulièrement importante à notre époque où la prestation de services se définit de plus en plus par la multiplicité des modes d'accès.

Il faudra faire beaucoup plus de recherches dans ce domaine. Toutefois, Les citoyens d'abord 2000 ont permis d'avoir un certain aperçu de ces différences. Comme l'indique la figure 1, même si les déterminants de la satisfaction à l'égard du service téléphonique chevauchent considérablement ceux du service offert face à face, la courtoisie et le traitement équitable ne sont pas des déterminants statistiquement significatifs dans le cas des services téléphoniques. Les déterminants de la satisfaction à l'égard des services Internet sont cependant très différents de ceux des autres modes d'accès : facilité de navigation, résultat, attrait visuel, caractère informatif et rapidité.