Comment analyser les résultats des tris A  plat

Généralement, les tris A  plat portant sur les indicateurs de satisfaction peunt AStre considérées comme des variables de type - échelles d'intervalle -.

On peut donc :

1. Créer des leaux de fréquence

2. Calculer la moyenne

3. Calculer F écart-type correspondant
(Si ces questions sont nominales, seules les fréquences peunt AStre calculées)
Reprenons ces trois techniques statistiques de base en les utilisant dans leur contexte.

Tableau de fréquences
Le leau de fréquences permet de visualiser l'importance relati (%) de chaque modalité par rapport au total des réponses et/ou répondants. Ces leaux sont le plus sount présentés sous forme de graphiques en barres, d'histogrammes ou de - camemberts -
On demande aux interviewés de donner leur satisfaction sur - le respect des délais -. Pour cela, ils disposent d'une échelle de 1 = pas du tout satisfait, A  4 = tout A  fait satisfait. Le leau ci-dessous donne les principaux résultats.
Rappelons que les chiffres obtenus sur un échantillon, pour pouvoir AStre extrapolés A  la population concernée, doint AStre interprétés en acceptant la notion de marge d'erreur statistique aléatoire (cf. partie échantillonnage). Ainsi, dans le cas traité ci-dessus, lorsque nous affirmons que - 12,8 % des clients se déclarent très satisfaits -, nous devrions plutôt dire : - Ac 95 % de chances de ne pas nous tromper, nous pouvons affirmer qu'entre 10,5 % et 15,1 % des clients se déclarent très satisfaits -.
En pratique, il suffit sount de rappeler cette notion en début de présentation, puis de ne citer que le chiffre obtenu afin de simplifier le propos.

A€ savoir

1. Ne pas hésiter A  regrouper les insatisfaits (ici note 1 ou 2) qui, dans la plupart des enquAStes de ce type, sont peu nombreux. MASme si les - Pas du tout - sont A  examiner plus particulièrement compte tenu de leur niau d'insatisfaction, regrouper ces deux modalités permet tout de mASme de simplifier l'interprétation et l'analyse.
2. A contrario, il ne faut surtout pas regrouper, comme on le voit trop sount, les - satisfaits - et les - très satisfaits - (ici, respectiment note 3 et 4). En effet, les - satisfaits - sont sount très nombreux, et gomment artificiellement le poids réel des - très satisfaits - en cas de regroupement.
Exemple : 80 % de satisfaits et 5 % de très satisfaits donne le mASme résultat que 50 % de satisfaits et 35 % de très satisfaits !
3. Sachant que les logiciels fournissent un nombre important de décimales (ex. : 12,425637 %), combien en retenir pour la présentation ?
La réponse dépend de la précision des données initiales ainsi que de la taille de l'échantillon interrogé. La pratique consiste A  enler tous les chiffres après la virgule qui ne représentent pas au moins une réponse dans la base de données (1 individu statistique). Mais trop sount, comme l'a dit G. Elgozy : - Dans toute statistique, l'inexactitude du nombre est compensée par la précision des décimales. -
4. Nous conseillons de mettre systématiquement en relation la satisfaction des_ clients et l'importance qu'ils accordent au critère considéré : Etre excellent sur un critère peu voire pas important ne présente aucun intérASt2 et coûte très cher
Dans la présentation des résultats, la construction d'une matrice importance/satisfaction (cf. Chapitres 9 et 10) constitue un outil majeur de compréhension et d'appropriation des s d'actions.

La moyenne
La moyenne permet de résumer en un seul nombre une série importante de données.
Elle donne une tendance centrale, proche du - centre de gravité - en physique. L'influence d'une valeur est donc double : - poids - et - distance - par rapport aux autres valeurs. Cet indicateur est donc très sensible aux valeurs extrASmes.
Dans le cas des mesures de satisfaction client, la moyenne est un indicateur très pratique et donc systématiquement utilisé. Le mode de présentation de moyennes, et notamment des moyennes de l'ensemble des indicateurs de satisfaction, sera abordé dans le chapitre 10.
En reprenant notre leau sur le respect des délais, on peut calculer la moyenne : ((35*1) + (177*2) + (320*3) + (103*4))/ (35+177+320+103) = 2,77
On peut donc dire que la satisfaction moyenne concernant le respect des délais est de 2,77.
Cette valeur, qui comporte des décimales, ne semble avoir aucun sens puisque les répondants n'avaient que 4 choix possibles : 1,2,3 ou 4. Mais, en pratique, cette approximation est denue naturelle (ne dit-on pas que les FranA§ais ont en moyenne 2,3 enfants).
De mASme que pour les leaux de fréquence, rappelons que les moyennes ïbtenues doint AStre interprétées en intégrant l'intervalle de confiance. insi, lorsque nous affirmons que - la satisfaction moyenne concernant le espect des délais est de 2,77 -, nous devrions plutôt dire : -Ac 95 % de »hancea de ne pas nous tromper, nous pouvons affirmer que la satisfaction noyenne de nos clients sur le respect des délais est comprise entre 2,71 et 1,83. -
Tout comme pour les fréquences, il est conseillé de rappeler cette notion en début le présentation, puis de ne citer que les moyennes afin de simplifier le propos.

Jne question revient sount :

A partir de quand peut-on dire que la moyenne obtenue sur un item est atisfaisante. c'est-A -dire suffisamment élevée pour que ce critère ne soit pas onsidéré comme un point faible ? -
La réponse n'existe pas puisqu'elle dépend A  la fois du type d'échelle utilisée (1 A  5, 1 A  10, etc.) et de l'indicateur mesuré. Tous les spécialistes ont ainsi remarqué que certains indicateurs étaient systématiquement mal notés par les clients, alors que d'autres étaient sur-notés. Il est donc impossible de donner une réponse unirselle et fiable, et seule la constitution d'une - base de données - ati permet d'obtenir des éléments de réponse.
Mais la moyenne, utilisée seule, est un indicateur dangereux. L'exemple ci-dessous (totalement fictif) le démontre.
Des possesseurs de voiture A ainsi que d'autres de voiture B, sont interrogés sur leur satisfaction concernant la maniabilité de celle-ci. L'analyse fait apparaitre des moyennes équivalentes : 3,1 sur une échelle en 4 points.
Or le diagramme atif ci-dessus prou qu'il n'en est rien.
La voiture A obtient 90 % de - satisfaits - et aucun - insatisfait - sur ce critère, alors que la voilure B obtient 70 % de - très satisfaits - mais aussi 30 % de - pas du tout satisfaits -.
Conclusion marketing : La maniabilité de la voiture A est appréciée (mais sans plus) par l'ensemble de ses acheteurs, alors que celle de la voiture B est adulée par certains et fortement remise en cause par d'autres.
11 est donc urgent de déterminer qui sont les 30 % - pas du tout satisfaits - de la maniabilité de la voiture B, afin de trour les actions A  mettre en œuvre pour combler, auprès de cette cible, cette forte insatisfaction.
Mais la moyenne ne donne aucune indication sur la dispersion des réponses.
C'est l'objet de la variance, sount simplifiée grace A  sa racine carrée, plus pratique A  interpréter : Pécart-type.

L'écart-type

L'écart-type est calculé A  partir des écarts existant entre chacune des observations et la moyenne. C'est une sorte de - distance moyenne des réponses par rapport A  la moyenne -. Ainsi, dans l'exemple de la maniabilité des voitures, on peut supposer, A  la lecture du graphique, que l'écart-type de la voiture B est plus fort que celui de la voiture A : les opinions sont visiblement plus partagées et fortement - espacées -.
Trois échantillons de 10 clients ont noté leur fournisseur (pour simplifier l'exemple, on supposera qu'ils pouvaient le faire de 0 = pas du tout satisfait A  10 = tout A  fait satisfait, en affectant la note qu'ils ulent, y compris ac des décimales). Les résultats sont reproduits dans le leau ci-dessous. La première colonne correspond aux notes de l'échantillon I, etc.
On constate que si les moyennes sont les mASmes, l'écart-type reflète bien les différences de dispersion. Le troisième échantillon est parfaitement homogène (écart-type = 0), et les deux autres dispersés.
Si l'on reprend maintenant l'exemple concernant la satisfaction sur le respect des délais (cf. leau de fréquence), l'écart-type est de 0.78. Mais comment interpréter ce chiffre ? La pratique démontre que si l'on n'a pas de connaissance statistique de base, le plus simple consiste :
1. A  parcourir rapidement les écarts-type calculés sur les différents items (nécessité d'échelles équivalentes), et repérer ainsi ceux sur lesquels ils sont les plus forts.
2. A  regarder les leaux de fréquence correspondants, par exemple aux deux extrémités (écarts-types choisis parmi les plus forts et les plus faibles), afin se faire une idée réelle de la dispersion.
La pratique consiste sount, dans une présentation de niaux de satisfaction :
» Soit A  ne présenter que la moyenne, si l'écart-type est faible (les avis sont quasiment tous les mASmes)
» Soit, si l'écart-type est élevé, A  présenter la moyenne ainsi qu'un ou deux pourcentages intéressant(s) : les - insatisfaits - et/ou les - très satisfaits -
» Soit A  présenter les fréquences (au risque de lasser rapidement l'auditoire)
Quoi qu'il en soit, un graphique est sount plus parlant qu'un leau pour ce type d'information.
Pour la note globale, il est indispensable de présenter et commenter un graphique détaillant les fréquences, et de résumer ensuite ces données :
» en une note moyenne globale (ou un indice calculé A  partir de celle-ci)
» en insistant sur 2 résultats : le % d'insatisfaits ainsi que le % de très satisfaits
Avant de détailler d'autres outils statistiques intéressants pour analyser les résultats d'une mesure de satisfaction client, il faut insister sur le cas particulier des non-réponses (- NR -) extrASmement fréquent dans ce type d'enquASte : Par exemple, faut-il calculer les pourcentages ac ou sans les non-réponses ?
Nous nous intéresserons ensuite aux moyens statistiques de aison des niaux de satisfaction ac la concurrence.

Comment traiter les non-réponses et les aisons ac !a concurrence

Comment gérer les non-réponses?

Les non-réponses faussent-elles les résultats ? Comment faut-il présenter les résultats : ac ou sans les non-réponses ?
Si la réalisation du terrain a été bien gérée (enquASteurs, questionnaire, etc.), les non-réponses doint AStre peu nombreuses. Mais quand les non-réponses dépassent 5 A  10 %, il faut impératiment :
1. s'interroger sur le pourquoi de ces non-réponses
2. se demander si les clients n'ayant pas répondu aux questions possèdent des caractéristiques spécifiques
Pourquoi un nombre important de non-réponses ?
Deux causes peunt expliquer les non-réponses. L'interviewé n'a pas pu répondre, ou l'interviewé n'a pas voulu répondre. Si l'on suppose qu'il n'a pas pu répondre, c'est que notre questionnaire n'était pas adapté ou que nous nous sommes trompés d'interlocuteur. Dans le deuxième cas, il devient nécessaire de valider la pertinence des autres réponses de cet interviewé
S'il n'a pas voulu répondre, on peut supposer que la question était trop impliquante. Et si ces non-réponses sont nombreuses, il faut alors en rechercher la raison.
Les clients n 'ayant pas répondu présentent-ils des caractéristiques spécifiques ?
Les non-réponses ont-il un profil homogène (ex : ils ont presque tous plus de 60 ans, ou ce sont quasiment tous des cadres, etc.) ou sont-ils au contraire dispersés parmi l'ensemble de l'échantillon ?
Des tris croisés ac les questions de renseignements signalétiques ainsi que les questions d'opinion les plus discriminantes permettent généralement de répondre A  cette question et d'en tirer les conséquences pratiques :
» Poids faible et Pas de profil particulier -> Risque faible de biais
» Poids fort et Pas de profil particulier -> Biais faibles, mais nécessité de mentionner cette situation
» Poids faible et Profil particulier -> Risque de biais fort ; nécessité d'expliquer cet état de fait
» Poids fort et Profil particulier -> Biais maximum ; les résultats A  la question concernée doint alors AStre présentés en s'appuyant sur les non-réponses
Doit-on ou non intégrer les non-réponses dans la présentation des résultats ?
Concernant les moyennes, il est évident que les non-réponses ne doint pas AStre intégrés dans le calcul de celles-ci. Or sount, les logiciels considèrent les non-réponses en tant que nombre 0 ou 999 et, sur certains calculs, laissent la possibilité de les intégrer Il est donc nécessaire d'y porter la plus grande attention.
Enfin, en ce qui concerne les résultats exprimés en pourcentages, le choix d'intégrer ou non les non-réponses reste un problème réel : cf. exemple ci-dessous (leaux issus du logiciel Sphinx Plus2).

En pratique, dans une présentation :

1. Si le poids des non-réponses est trop important, il convient de le souligner : d'où la nécessité, au moins dans un premier temps, de présenter les résultats ac les non-réponses. Si ce poids est minime, il ne faut pas hésiter A  éliminer les non-réponses de la présentation, puisque celles-ci ne modifient pas les résultats.
2. Si le poids des non-réponses est faible ou moyen (disons de 3 % A  moins de 10 % par exemple), ce sont alors les objectifs qui vont déterminer le mode de présentation :
a) S'il s'agit d'extrapoler les résultats obtenus A  l'ensemble de la population, il est impératif de laisser les non-réponses dans les résultats. Ainsi, dans l'exemple précédent, il sera préférable d'affirmer - qu 'un quart des clients sont insatisfaits -.
b) Dans le cas contraire, enler les non-réponses (sauf au cas où les biais sont importants) permet de simplifier le propos et d'aller directement A  l'essentiel.
Dans ce cas, une pratique intéressante consiste A  faire apparaitre en plus petit, et A  côté des chiffres cités, le taux ou le nombre de non-réponses.

Comment er la satisfaction de nos clients A  celle de la concurrence ?
Pour des notes attribuées par l'ensemble des clients (les nôtres et ceux de la concurrence), il suffit de visualiser les différences entre celles de l'entreprise et celles des concurrents. Ces différences, mASme minimes, sont réelles puisque portant sur la totalité des clients.
Le problème est plus délicat lorsque la mesure a été réalisée sur une partie seulement des clients (c'est-A -dire sur un échantillon), puisque les résultats doint pouvoir AStre extrapolés aux populations concernées. Cette aison, par exemple entre 2 moyennes, est réalisée grace A  des tests statistiques. De plus en plus de logiciels proposent ce type de calcul de faA§on automatisée, mais donnent des résultats sount difficiles A  comprendre pour le non-initié. D'où la nécessité de connaitre quelques termes qui permettront d'interpréter ces résultats.

Le principe des tests

Il s'agit de tester - l'hypothèse nulle - selon laquelle il n'y aurait pas de différence entre les deux populations concernées (nos clients/ceux de la concurrence). Comme pour les différents calculs statistiques, la pratique ut que l'on raisonne - ac 95 % de chances de ne pas se tromper -.
En général, les logiciels donnent le résultat du test en fournissant un certain nombre de données intermédiaires de calcul, puis un - p -, ou quelquefois - I-p -, suivi d'une valeur sount exprimée en % (ex : 3,2 %) ou en millièmes (mASme exemple : 0,032).
Pour pouvoir affirmer qu'il existe une différence entre les deux populations concernées, les valeurs doint donc :

» pour - p -, AStre inférieures A  5 % ou 0,050

» pour - 1-p -, AStre supérieures A  95 % ou 0,950
395 possesseurs d'un produit de marque X, et 136 possesseurs d'un produit de la marque concurrente Y, ont été interrogés sur leur satisfaction globale A  l'égard de leur produit :
Satisfaction globale sur le produit de la Marque X : 6,71 (395 répondants) Satisfaction globale sur le produit de la Marque Y : 6,60 (136 répondants) Visiblement, ces deux résultats sont différents. Peul-on pour autant affirmer que cette différence observée entre 2 échantillons de population est statistiquement fiable, c'est-A -dire qu'il existe bien une différence de satisfaction entre les 2 marques jugées ?
Dans ce cas précis, un test de aison de moyennes va permettre de valider ou non cette hypothèse. Ci-dessous ure le résultat informatique obtenu sur notre exemple.
Comparaison des moyennes des modalités - Marque X - et - Marque Y - SATIS globale : 6.71/6,60. La diff. n'est pas significati (t = 0.680. I-p = 49.59 %) Ici, le 1 -p indique que la différence (95 chances sur 100 de ne pas se tromper) n'est pas significati puisque 49,59 % est très supérieur A  la limite de 5 %.
n n'y a donc pas de différence réelle entre la satisfaction des clients de la marque X et celle des clients de la marque Y, contrairement A  ce que pourrait laisser croire la différence de 0,11 observée sur les échantillons.
Sans rentrer dans des détails statistiques complexes3, l'important est de comprendre le fonctionnement des tests de ce type. Deux facteurs influencent les résultats de ces tests :

1. La taille de l'échantillon

Plus celle-ci sera importante, plus la précision des résultats observés sera forte.
Pour une question de satisfaction sur une échelle en 10 points posée A  2 échantillons de I 200 personnes, une différence de seulement 0,17 point entre la note moyenne de satisfaction de l'échantillon I (6,30, ac un écart-type de 1,88), et de l'échantillon 2 (6,13 ac un écart-type de 1,94), sera considérée, par le test A  95 % de chances, comme reflétant une différence réelle entre les populations.
En revanche, sur 2 échantillons d'environ 50 personnes ayant des écarts-type équivalents, une différence de plus de 0,6 point sera invalidée par le test.

2. L'amplitude des différences

De mASme, plus les différences sont fortes entre les données A  er (A  taille constante d'échantillons), plus celles-ci risquent d'AStre vraies dans les populations concernées.

Comment analyser les questions ourtes

Une fois codifiées et saisies (cf. chapitre 7), les questions ourtes deviennent des variables nominales A  choix multiples. Leurs résultats apparaissent donc sous la forme de leaux de fréquences. L'analyse de ces questions pose deux problèmes :
1. Le plus sount, les non-réponses sont nombreuses. Il convient donc d'AStre extrASmement prudent dans la présentation des résultats (cf. paragraphe - comment gérer les non-réponses -), puisque ceux-ci peunt AStre exacerbés artificiellement en ne tenant pas compte des non-réponses. C'est pourquoi il est impératif de présenter le pourcentage de répondants, avant de détailler les idées émises par ceux-ci.
2. Sount, une mASme personne a pu donner plusieurs réponses. Dans ce cas, les pourcentages peunt AStre calculés sur le nombre total de réponses ou le nombre total de répondants. Les bases étant très différentes, les pourcentages le sont aussi et peunt induire en erreur : cf. l'exemple ci-dessous.
Dans ce cas, si une remarque positi (par exemple sur l'accueil téléphonique de l'entreprise) a été émise par 20 répondants, 3 résultats différents peunt AStre présentés :
» -2% (20/1000) des personnes interrogés soulignent spontanément la qualité de notre accueil téléphonique - : Ce résultat est le seul extrapolable A  la population globale des clients.
» -20% (20/100) des répondants soulignent -. Celui-ci insiste sur la proportion importante de clients insistant sur ce point parmi ceux ayant pris la peine de répondre A  cette question.
» -5% (20/400) des réponses soulignent - permet de relativiser le poids des remarques concernant la qualité de notre accueil téléphonique : seules 5 % d'entre elles correspondent A  cette idée.
Une fois de plus, nous constatons qu'ac les statistiques, les choix de présentation peunt influencer fortement les interprétations des auditeurs
- Il y a trois sortes de mensonges : les mensonges, les sacrés mensonges et les statistiques - (Mark Twain).
Pour conclure, il faut savoir que les rbatims (c'est-A -dire les extraits bruts d'interviews) constituent d'excellents outils complémentaires de présentation des questions ourtes. En effet, une remarque ou un mot d'esprit d'un client permet de crédibiliser et d'illustrer l'idée présentée.

Comment identifier les points A  approfondir ?

Dans leur souci de ne rien laisser de coté, les non-spécialistes n'hésitent croiser 50 voire 100 questions deux par deux, ce qui représente une masse impressionnante de listings A  analyser (/ 225 leaux possibles pour 50 variables), dont la plupart se révéleront inintéressants.
Comment trour directement les - pépites -, c'est-A -dire les éléments intéressants, dans cette mine gigantesque ?
L'analyse des tris A  plat permet de souler un certain nombre de questions et d'échafauder des hypothèses. Celles-ci constituent des éléments structurants pour - creuser au bon endroit -.
- Compte tenu de notre expérience, ne serait-ce pas les clients de la Région Ouest qui tirent l'accueil téléphonique A  la baisse ? - ^ nécessité de croiser la variable - Accueil téléphonique - ac la variable - Pronance des clients -.
- Je ne comprends pas pourquoi, en moyenne, nous sommes si mauvais sur le délai. Qui pense cela en particulier ? - -> Nécessité de croiser cette variable - satisfaction concernant les délais - ac différentes variables descriptis des clients interrogés : taille, CA, ancienneté de la relation, secteur, prestation achetée, etc. pour déterminer s'il existe un segment plus particulièrement concerné par ce problème.
En pratique, il est nécessaire, tout au long de l'analyse des tris A  plat, de prendre des notes sur une feuille A  part et de trier ces notes par type de problématique, afin d'éviter les redondances. Il suffit généralement de noter la question et le tri A  réaliser, en ajoutant le cas échéant l'hypothèse que l'on ut valider ou infirmer.
Si nous reprenons le premier exemple ci-dessus : Question = - Compte tenu de notre expérience, ne serait-ce pas les clients de la région Ouest qui tirent ce résultat A  la baisse ? - -> Noter sur la feuille : tri QI2/Q34 (Q12 = variable analysée et Q34 = variable - Pronance des clients -)
Un autre - truc - pratique consiste, au fur et A  mesure de la lecture des tris A  plat, A  remplir un questionnaire vierge ac les résultats. Vous pourrez ainsi les avoir sous les yeux en permanence, A  la fois pour la suite de l'analyse, mais aussi lors des présentations ou des décisions concernant les actions correctis.