"La statistique prête le flanc à des interprétations irrationnelles et à des décisions infondées"

Entre février 2019 et le 22 avril 2022, plusieurs sondagesconformes aux règles de la Commission des sondages ont été publiés, sans jamais trouver les résultats exacts. Est-ce dire que ces outils sont inutiles ? Pas nécessairement, mais pour ne pas faire d'erreur, il faut avant tout comprendre comment ils fonctionnent et qu'elles sont leurs limites. Il existe deux types de sondages : les sondages aléatoires, qui consistent à tirer au hasard des observations dans une population donnée, et les sondages empiriques dont les échantillons sont constitués de façon à être représentatifs suivant certains critères.

Dans les premiers, la représentativité est totale mais approximative : la théorie des probabilités montre que tous les pourcentages observés sont, sauf exceptions, proches des proportions dont ils sont l’estimation. Un sondage empirique utilise la méthode des quotas pour construire un échantillon représentatif par rapport à quelques critères seulement, de l’ordre de quatre ou cinq. L’échantillon empirique est exactement représentatif suivant les critères choisis mais pas nécessairement suivant les autres.

Question de représentativité

En 1936, la revue Literary Digest avait prévu, à partir d’un échantillon de deux millions quatre cent mille personnes, l’élection d’Alf Landon à la présidence des États-Unis avec 57 % des voix, alors que l’élection a été gagnée par Roosevelt avec 61 % des suffrages. L’erreur s’explique par l’absence de représentativité de l’échantillon, constitué de lecteurs de la revue. En considérant qu’un très grand nombre d’observations compense l’absence de représentativité, la revue a commis une erreur courante : elle a confondu les pourcentages de voix dans l’ensemble de ses lecteurs, favorables à Alf Landon, avec les pourcentages dans l’ensemble des électeurs.

Un échantillon représentatif de 50 000 électeurs constitué par Gallup donnait au même moment Roosevelt gagnant avec 56 % des voix. Cet exemple historique montre l’importance de la représentativité de l’échantillon. L’hypothèse sur laquelle est fondée la méthode empirique est que, en choisissant des critères liés aux choix des votes, on obtient un échantillon représentatif par rapport à la répartition des suffrages. En général, dans les sondages préélectoraux, les critères de représentativité des échantillons sont le sexe, l’âge, la catégorie socio-professionnelle, la situation familiale, le niveau de diplôme.

Lors des élections municipales de 2020, les pourcentages de voix ont été très mal estimés par les sondages. Cela ne remet pas en cause la qualité de ces derniers, dont les résultats sont établis à partir d’échantillons représentatifs des inscrits sur les listes électorales et non des votants dont on ne peut tenir compte des répartitions suivant le sexe, la CSP, etc. puisqu’on ne les connaît pas. Les différences montrent en réalité que l’échantillon représentatif de l’ensemble des électeurs ne l’est pas de l’ensemble des votants. Un sondage aléatoire dans les listes électorales n’aurait pas donné de meilleurs résultats pour la même raison. C’est là le problème général des non-réponses.

Lorsque l’échantillon est aléatoire, la théorie des probabilités donne des résultats plus complets. Supposons que le pourcentage en faveur de Roosevelt calculé sur un échantillon aléatoire de 1 000 électeurs soit égal à 56 % (valeur estimée par Gallup). Avec un niveau de confiance de 95 %, l’intervalle de confiance (indicateur qui permet de chiffrer la zone d'incertitude) défini par l’ensemble des valeurs possibles du pourcentage exact est [52,9 % ; 59,1 %]. Pour un échantillon de même effectif que celui de Gallup, l’estimation est beaucoup plus précise : [55,6 %, 56,4 %]. La vraie valeur (61 %) n’appartient pas à l’intervalle de confiance. Gallup a expliqué la différence entre son estimation et le résultat du vote par le fait que son sondage avait précédé l’élection de quinze jours. Cela signifie que 5 % des électeurs environ ont changé d’avis au cours de cette période.

Calculer l’intervalle de confiance et le risque d’erreur dans le cas d’un sondage empirique, c’est mesurer la part du hasard alors qu’il n’y en a pas. En imposant aux instituts de sondage de publier ces informations dans le cas des sondages électoraux, la réglementation les oblige à commettre une erreur scientifique. C’est un problème général posé par les enquêtes effectuées dans les sciences humaines et sociales, dont les échantillons ne sont quasiment jamais aléatoires. Dans ces conditions, effectuer un test statistique pour comparer deux moyennes n’a pas de sens. Fixer un pourcentage de 5 % (la “p-value”) pour contrôler l’existence d’une relation entre deux facteurs est la même erreur.

A LIRE AUSSI : Interdire les sondages ? "Ce que les citoyens perdraient en information, ils le gagneraient en liberté"

Les difficultés ne se limitent pas aux précédentes. Un évènement rare a de fortes chances d’apparaître dans un grand nombre d’observations et on ne peut en tirer aucune conclusion, comme on le fait souvent dans la pseudo-théorie des séries. L’article 225-1 du Code pénal en fournit un exemple. Il donne la liste de vingt critères de discrimination interdits : si la probabilité pour qu’une entreprise soit injustement condamnée pour discrimination suivant un critère fixé est de 5 % (évènement rare) , elle est de 64 % (hautement vraisemblable) si l’on considère n’importe lequel des vingt critères. Cela revient à condamner à tort plus de la moitié des entreprises pour discrimination. Le législateur a visiblement besoin de statisticiens.

La statistique prête le flanc à des interprétations irrationnelles et à des décisions infondées. Chacun cherche dans les chiffres la preuve de ce qu’il pense a priori, au lieu de raisonner a posteriori en fonction des chiffres. La statistique ne donne des informations pertinentes que si on en connaît les limites.