Pourquoi les sondages sont-ils si mauvais en France?

Pourquoi les sondages sont-ils si mauvais en France?

Petit glossaire pour aider la compréhension, vous pouvez le passer si vous connaissez déjà ce vocabulaire:
Biais: Aussi connu sous le nom d'erreur systématique, ce sont les erreurs qui sont toujours dans la même direction.
Quota: Bloc de répondants appartenant à une catégorie de la population. Un quota doit avoir un nombre de répondants proportionnel à la population ciblée par le sondage.

Résumé des sujets qui vont être abordés:

1/Les sondages sont loin de la réalité de l'opinion car les sondeurs choisissent mal les quotas qui corrigent les biais.

2/ La méthode des quotas rend les sondages très coûteux car elle fait ignorer beaucoup de données. Les nouvelles méthodes comme le MRP permettent d'agréger plusieurs types de données.

3/ Les sondages sont si peu précis qu'ils nous font croire à d'immenses bonds dans l'opinion. En vérité, ils ne sont que le signe de larges erreurs dans les sondages.

4/Les sondages par quotas nous donnent les réponses par sous-population sans dire qu'elles sont par construction incroyablement peu fiables. Leur estimation est grossièrement plus biaisée et moins précise que celle qui porte sur la population complète.

Les sondages français ne sont pas bons.

Quand je dis ça, je parle de la méthodologie statistique, en comparant à d'autres pays comme les États-Unis, le Canada, ou le Royaume-Uni où le MRP est devenu une méthode éprouvée.
La formulation des questions ou l'interprétation sont peut-être elles aussi catastrophiques (Bourdieu) mais ce n'est pas mon domaine de compétence donc je ne vais pas m'avancer. Ce qui est moins connu, c'est que la partie mathématique est aussi discutable.

Pour commencer, retraçons l'origine. Les francais utilisent la méthode quotas. Dans les années 30 aux États-Unis, George Gallup utilisa cette méthode et fit de meilleures prédictions que celles des autres sondeurs. Elle fut assez vite reprise par les français.
Depuis, il n'y a plus eu d'évolution en France. Alors qu'aux États-Unis, la science politique a développé de nouveaux outils statistiques qui furent ensuite importés dans plusieurs autres pays.¹

Je pense que comme il n'y a aucune conséquence économique à donner des sondages faux, il n'y a donc rien qui pousse à les améliorer. Et les vieilles méthodes sont répétées rituellement sans que personne ne les questionne.²

/1 Un manque de réflexion et de transparence sur les variables

Le premier problème de l'utilisation de méthode des quotas en France, le plus grave d'après moi : il n'y a aucune réflexion sur les quotas.

En statistique, et en science en général, on doit produire un travail pour choisir les variables à utiliser. Si vous n'en n'intégrez pas assez, vous ne corrigez pas les biais. À l'inverse, si vous avez trop de variables, cela ajoute de l'incertitude et votre résultat aura alors une marge d'erreur immense.

Le fait qu'il n'y ait pas de débat sur l'efficacité des quotas choisis pour la prédiction m'effare. Vous verrez les catégories des quotas changer d'un sondage à l'autre, mais vous ne trouverez pas d'explication du pourquoi dans les documents fournis par les instituts.

/2 Pas suffisament de quotas

Pour comprendre d'où le faible nombre de quotas, parlons des contraintes qu'apportent les quotas. L'interviewer doit remplir chaque quota de répondants juqu'à ce qu'il atteigne la proportion de la population cible (En général, c'est la population française). Il faut refuser tout les répondants qui appartiennent à des quotas déjà remplis.

Rejeter de possibles répondants, c'est comme jeter des données, c'est un gâchis d'argent et de précision. Plus vous avez de quotas différents, plus vous êtes amenés à refuser de répondants. Donc ça pousse les instituts à choisir le moins possible de quotas.

/3 Des bonds dans l'opinion irréalistes

"Woah l'opinion de Jeanmichemuche a diminué de 10 points en une semaine!"

En fait, c'est peu probable que ce soit vrai. Une meilleure explication est que l'échantillon de la semaine est très différent de celui de la semaine précédente. Il est différent d'une façon qu'on a pas mesuré. Et donc, les larges changements de l'opinion sont en réalité dus aux aléas des gens qui répondent.³

C'est ce que les quotas sont sensés empêcher en obligeant que ce soit toujours la même composition d'individus qui répondent. Cependant, le faible nombre de quotas, l'absence de questionnement sur leur choix fait que ces variations incohérentes persistent.

Un évènement dans la société, comme un débat télévisé, peut provoquer de larges sauts dans les sondages. On pense que le débat a eu un gros impact sur l'opinion, alors que l'origine de ce changement dans les chiffres des sondages vient d'ailleurs.

"-T'as vu comment Jeanmichemuche a eu l'air d'un idiot au débat?
-Mouais j'ai pas trop envie d'en parler"

Les soutiens au candidat qui a perdu le débat n'ont plus envie de répondre. Les sondages favorisent dans ce cas ceux qui ont gagné le débat, qui ont beaucoup plus envie de parler de politique depuis que leur candidat a fait bonne impression. Presque personne n'a changé d'avis, mais les sondages bougeront beaucoup.⁴

/4 Des chiffres par catégorie trompeurs

Dernière partie un peu difficile à expliquer mais très importante. Les chiffres pour les sous-populations sont largement plus biaisées, et leurs marges d'erreurs sont massivement plus grandes.
Ce n'est jamais expliqué par les sondeurs.

Pour le biais : Chaque chiffre des sous-populations n'est pas lui-même construit comme un sous-sondage représentatif. Il a le droit d'être non représentatif et biaisé, donc aussi biaisée qu'il le peut.

Par exemple, peut-être que tous les ouvriers ayant répondu ont fait plus d'études que les autres ouvriers français. Dans la globalité, en incluant les non ouvriers, le nombre de personnes ayant fait des études est représentatif. Cependant, le sous-échantillon des ouvriers n'est pas représentatif des ouvriers français. Leur réponse peut être biaisée par rapport aux ouvriers français. ⁵

Pour les marges d'erreurs géantes :
Imaginez que vous découpiez l'âge en dix catégories, chacune avec 10% de la population. Respecter les quotas vous donne donc 10% de répondants dans chaque catégorie. Pour estimer le chiffre dans une catégorie vous n'avez que 10% de l'échantillon initial. Cela rend votre estimation très peu précise.

Dans l'exemple ci-dessus, avec un échantillon initial de taille 1000, l'échantillon pour estimer le vote dans une classe d'âge est seulement de 10% de 1000, soit 100 répondants. Additionné aux biais supplémentaires car les 100 répondants ne sont pas représentatifs de la catégorie, autant dire que cette estimation ne vaut rien.

Citer les chiffres par catégorie de répondant est donc aberrant. Et, pour celleux qui ont étudié leur propriétés mathématiques, c'est très fatiguant de voir des journaux papiers ou télés les citer.
Les chiffres par catégorie sont inutilisable pour l'estimation de l'opinion dans chaque catégorie, ils ne sont qu'une étape dans la fabrication de l'estimation sur la population globale.

Conclusion

Je trouve personnellement que l'existence des sondages est une bonne chose, qu'ils devraient orienter les politiques. (Ça m'arrangerait que ça les aide à gagner quand ils sont dans mon camps).

J'aimerais juste qu'ils soient ... mieux faits. Et que plus de gens comprennent leur limites statistiques, pas seulement la critique de leur interprétation.

C'est particulièrement dommage car les nouvelles méthodes permetteraient de faire de bonnes estimations peu coûteuses dans chaque département français, ce qui est impossible avec les sondages par quotas. Je préfèrerais que la gauche soit la première à en profiter aux législatives.⁶

Voilà. Merci d'avoir lu ma divagation sur les sondages! Cela fait au moins un an que j'embête mes amis en leur racontant tout ça. Maintenant j'ai un simple lien vers lequel les diriger afin qu'ils ne le lisent pas lol.

Si vous devez retenir un seul truc :
Je vous en supplie ne lisez plus les valeurs par catégorie.