Le Monde a publié le 11 décembre les éléments d’une « enquête de terrain » réalisée par 70 chercheur·es. Les « résultats »
présentés arrangent celles et ceux qui veulent croire que le mouvement
des gilets jaunes pencherait à gauche. Sauf que cette étude n’a rien de
scientifique et que ces résultats sont largement sujets à caution.
Explications.
Si le texte publié par Le Monde
avait été un travail d’étudiant·es en première année de sociologie à
l’université, on aurait pu comprendre les erreurs manifestes des
auteur·es. Mais quand il s’agit d’universitaires chevronné·es [1],
difficile d’expliquer le manque total de rigueur. Ce qui conduit à
formuler l’hypothèse suivante : l’objet de cette étude n’est en rien
d’analyser scientifiquement la composition du mouvement des gilets
jaunes mais d’avaliser par un argument d’autorité une position
politique.
Une méthode tout sauf scientifique
L’étude, un temps accessible en ligne sur le site web de Sciences Po
Bordeaux, n’est plus disponible. Les conditions de celle-ci sont donc à
ce jour vagues. Les seules informations que nous avons sont celles
parues dans le texte publié dans Le Monde.
« Les résultats, encore très provisoires,
présentés ici s’appuient sur l’analyse de 166 questionnaires distribués
auprès des participants aux actions sur les ronds-points et aux péages,
ou lors des manifestations ayant eu lieu les 24 et 1er décembre,
par une équipe d’une dizaine de chercheurs et d’étudiants. Le
questionnaire a été élaboré de manière à recueillir des informations
détaillées et précises sur les participants. »
Premier problème : nombre de questionnaires et marge d’erreur
Nous savons donc que seules 166 personnes ont répondu au
questionnaire des chercheur·es — sans précisions supplémentaires, ne
serait-ce que géographiques. En terme statistique, cela signifie que l’échantillon
est de 166. Or, la taille de l’échantillon, si elle ne détermine pas
son caractère représentatif, compte lorsque l’on prétend proposer une
analyse quantitative : de cette taille dépend la marge d’erreur,
c’est-à-dire la fiabilité du sondage.
Cette fiabilité se comprend comme une estimation des différences
possibles de résultats d’un même sondage s’il devait être reproduit à
l’identique. Pour un échantillon de 166 personnes, la marge d’erreur est
de de près de 8%, 7,6% pour être précis [2].
Autrement dit, si le résultat du sondage est 100, l’enquête permet de
dire que la réalité se trouve probablement entre 92 et 108. On dit alors
que [ 92 ; 108 ] est l’intervalle de confiance du premier sondage.
Pour illustrer très concrètement ce que cela signifie, on peut considérer le dernier sondage d’intentions de vote d’avant le premier le tour de l’élection présidentielle de 2017 : avec une incertitude de 3 points pour un niveau de confiance de 95 %, Marine Le Pen était annoncée à 24, soit entre 21 et 27 % ; avec une marge d’erreur de 8% elle aurait été annoncée entre 16 et 32 %, soit du simple au double.
Quand nos « 70 scientifiques » expliquent que 14,9 % des personnes interrogées se positionnent à l’extrême gauche, on peut conclure de façon fiable à partir de leurs « résultats » que cet engagement concerne entre 6,9 et 22,9 % d’une population qui ressemblerait à ce panel. C’est peu précis.
Dans la communauté scientifique, une marge d’erreur acceptable est de
l’ordre de quelques pourcents, et aucune enquête avec une marge
d’erreur de 8 % ne passerait jamais les
mailles de la sélection des revues scientifiques de premier plan. On
comprend ici que pour la seule raison de la taille ridicule de
l’échantillon, il faut a minima prendre de grosses pincettes avec les « résultats » présentés. Et qu’avec une telle marge, les « 70 scientifiques », s’ils et elles prétendent faire des statistiques, devraient faire preuve d’une grande humilité.
Second problème : le choix des personnes
Le principal écueil de cette enquête n’est pourtant pas la taille de
l’échantillon, mais sa constitution. En effet, la marge d’erreur à 8 % pourrait être acceptable si l’échantillon était « non déformé », c’est-à-dire représentatif des gilets jaunes. Or, dans le cadre de cette « enquête », ce n’est clairement pas le cas.
Le Ministère de l’intérieur, pas suspect pour un sou de vouloir
grossir les chiffres du mouvement, a annoncé lors des premières
mobilisations de novembre qu’environ 150 000 personnes participaient. Ce
comptage ne tient compte que des personnes descendues dans la rue ou
sur des ronds points. La mobilisation en ligne, qui est l’une des
caractéristiques forte des gilets jaunes, est passée sous silence. La
page Facebook « comptons-nous Gilets jaunes » affiche par exemple près de 3 millions de membres, soit 20 fois plus.
Les « 70 scientifiques »
ont fait le choix d’aller à la rencontre des personnes présentes dans
la rue plutôt que d’interroger des personnes qui militent en ligne (ces
deux populations étant en partie communes). Pourquoi pas, mais il faut a
minima circonscrire les résultats à cette catégorie et non comme ils et
elles font à tous les gilets jaunes. Avec une population cible d’au
moins 150 000 personnes, on comprend qu’il n’est pas possible, faute de
moyens humains et économiques, de sonder tout le monde. Il y a donc
nécessité de sélectionner un groupe qui soit représentatif des personnes
mobilisées, et pour ce faire choisir une méthode d’échantillonnage.
Ici, l’impossibilité de la représentativité découle d’abord de
l’impossibilité de connaître a priori la composition du mouvement
(socialement, politiquement, géographiquement) donc d’en sélectionner un
échantillon correspondant. Pour que la représentativité soit possible,
il faut en principe s’appuyer sur un sondage systématique, comme peut
l’être le recensement de la population réalisé par l’Insee. En son
absence, on procède d’ordinaire par des méthodes dont les biais sont documentés : échantillonnage par tirage au sort, échantillonnage stratifié, échantillonnage boule de neige, etc.
Dans le cas qui nous concerne et en l’absence de description précise
des lieux d’enquête et de la manière dont les personnes qui ont répondu
ont concrètement été recrutés, il y a tout lieu de penser que
l’échantillonnage a été réalisé au petit bonheur la chance. On peut
parler « d’échantillonnage de convenance », ce qui induit que les résultats de l’enquête ne peuvent nullement être extrapolées, en raison des multiples biais induits.
D’abord la géographie de l’enquête, imprécise, n’est pas calquée sur celle de la mobilisation.
Les questionnaires ont été distribués sur Bordeaux, Marseille, Caen,
Rennes, Montpellier, Grenoble et leurs environs. Qu’en est-il des villes
et des régions du Nord, de l’Est où les gilets jaunes sont
particulièrement présents ? Et des villes comme Béziers, Nice dans le Sud, ou des espaces profondément ruraux etc ?
Autrement dit : qu’en est-il des espaces où géographiquement, par
exemple, le vote FN a été massif en 2017, même si localisé et très
variable d’un territoire à un autre ? C’est
sûr, il est difficile de trouver une population en particulier si l’on
fait le nécessaire pour ne pas se mettre en rapport avec elle.
Ensuite vient la question du choix des sondé·es. Dans le cadre de
l’étude en question, il suffisait ainsi d’avoir participé à une
manifestation ou un blocage pour pouvoir être interrogé. L’étude ne
donne pas de détail quant à l’ancienneté des sondé·es dans le mouvement
des gilets jaunes (mouvement qui lui-même s’est formé et a évolué
différemment selon les territoires depuis novembre). Comme le
questionnaire a été réalisé entre le 24 novembre et le 1 er décembre,
cela laisse une grande marge de manœuvre et une grande diversité
possible. Le biais repose ici sur le fait qu’en ces deux jours des
manifestations pour des causes bien différentes ont croisé celles des
gilets jaunes, n’importe qui ou presque pouvait donc être compté par nos
scientifiques comme un gilet jaune, quel que soit son degré d’adhésion
au mouvement étudié.
À cela s’ajoutent des biais bien connus de toute enquête sociologique
comme par exemple l’auto-sélection des personnes les plus motivées et
la surreprésentation de celles qui sont le plus proches sociologiquement
des enquêteurs. Bref, en l’absence de méthode d’échantillonnage, la
marge d’erreur de 8 % n’est plus qu’un lointain souvenir et les « résultats » n’ont aucune valeur statistique.
Troisième problème : la formulation des questions
Ce n’est pourtant pas là le dernier problème de cette étude. Pour
toute enquête par questionnaires, les résultats dépendent grandement de
la manière dont le questionnaire est administré et de la formulation des
questions. Dans le cas de l’étude du Monde, il est fort probable
que cela ait tout simplement été fait n’importe comment. On sait que
les questionnaires ont été passés en face à face, soit dans un anonymat
relatif qui renforce notamment le biais normatif, c’est-à-dire la
volonté des personnes qui répondent de se conformer à de ce qu’elles
imaginent que les enquêteurs attendent d’eux. C’est là un biais habituel
qui s’ajoutent à d’autres, comme le mettait en avant sur twitter le
sociologue SocioSauvage (nous développons) :
L’article met en avant la sur-représentations de la catégorie socioprofessionnelle (PCS) des « employé·es ».
Le problème est que la question de la PCS est probablement la question
la plus compliquée à poser et que la réponse la plus souvent fausse qui
est donnée est justement « employé·es ». Dans le cadre d’une enquête scientifique, les PCS regroupent différentes professions. La PCS « employé·es » regroupe par exemple les agents de sécurité, les secrétaires et les chefs de trains. La PCS « employé·es »
est souvent confondue avec le statut de salarié·e lorsque la question
est posée. La bonne pratique est de demander à la personne sa profession
réelle puis de la « ranger »
dans la PCS correspondante dans la nomenclature de l’Insee lors de la
saisie des questionnaires dans le logiciel de traitement statistique.
Pour le dire autrement, si vous ne faites pas particulièrement attention
dans la passation du questionnaire (ou si le questionnaire n’est pas
particulièrement détaillé), vous aurez « naturellement » une sur-représentation d’« employé·es »
artificielle. Même les instituts de sondage qui n’ont pourtant aucun
problème à poser des questions mal foutues accordent une grande
importance à cette question. Une part non négligeable de la formation
des télé-enquêteurs lui est accordée.
La PCS n’est qu’une des questions sujettes à caution dans cette
enquête. La demande faite aux personnes de se positionner politiquement
ou de choisir de se dire « ni de droite ni de gauche » rencontre deux biais évidents. Le premier est la validation par l’enquête elle-même, donc la sur-représentation, du slogan « ni de droite ni de gauche » comme une catégorie d’analyse, alors qu’il s’agit avant tout d’un référent du discours populiste
revendiqué par exemple à la fois par LREM et le FN. Le second est la
sous-déclaration récurrente d’une proximité très à-droite, en quelque
sorte une tendance à se voir plus à gauche qu’on ne l’est réellement. Il
aurait été plus raisonnable de demander aux personnes de déclarer leurs
proximités avec des valeurs (sécurité, liberté, égalité, etc.) puis des
les repositionner sur l’échiquier politique droite/gauche.
Des interprétations fantaisistes
La déontologie scientifique devrait conduire ces universitaires à
refuser de tirer des conclusions d’une enquête aussi fragile. Tout du
moins, ils et elles devraient mettre d’immenses guillemets à leurs
interprétations des « résultats »
qu’ils avancent. Loin de ces précautions, ils et elles assènent aux
lecteurs des conclusions présentées comme des évidences. Les formules
employées ne trompent pas. Nul conditionnel, nul « peut-être » ou simple « probablement ». Le texte préfère le présent, les phrases affirmatives et les tournures qui donnent au douteux le caractère de l’évidence : « il s’agit de », « les deux principales motivations des personnes mobilisées apparaissent donc », « les revendications (...) sont très marginales, démentant l’idée », etc.
Plus problématique encore, une partie des conclusions sont totalement
fantaisistes eu égard à l’enquête menée et aux questions posées. Trois
phrases ont particulièrement été appréciées par les commentateur·es
politiques, les camarades avides de preuves avalisant leur sympathie
pour les gilets jaunes et présentées comme des vérités. Elles relèvent
pourtant plus de l’imagination de leurs auteur·es que de la
constatation.
« Cette révolte est bien celle du “peuple” » affirment nos scientifiques. De quel « peuple » parle-t-on qui pourrait être défini par les réponses à un questionnaire ? Le simple fait que le « peuple » n’ait aucune définition scientifique rend cette phrase caduque. À travers les lignes, on comprend que les « 70 scientifiques » identifient les ouvrier·es et les employé·es au « peuple ».
Comme nous l’avons vu, l’enquête est extrêmement fragile sur la
construction de ces catégories, ce qui rend, de fait, cette conclusion
doublement caduque.
« La réponse dominante consiste à se déclarer comme apolitique, ou “ni de droite ni de gauche” (33 %) ». Ce caractère populaire semble également être appuyé par des « orientations politiques atypiques ».
Si plusieurs analyses du mouvement dès mi-novembre font état de la
variété des orientations politiques des participant·es au mouvement des
gilets jaunes et considérant le brouillage actuel du clivage
gauche/droite, on peut s’attendre à ce que la manière avec laquelle les
sondé·es se situent politiquement ou que les marqueurs de ce
positionnement soient questionnés. Dit autrement avec un exemple : ce
n’est pas parce qu’une personne se situe à gauche qu’elle reprend et
accepte tous les marqueurs de gauche, et peut-être même se dit-elle de
gauche en défendant et reprenant des marqueurs de droite ou
d’extrême-droite. Dans la confusion ambiante, ne pas questionner ces
positionnements nous interroge.
« Il
est à noter que seulement 2 des 166 personnes interrogées ont mentionné
la gestion de l’immigration dans leurs réponses aux deux questions
présentées. Cela invite à reconsidérer les analyses qui font du
mouvement une émanation de l’extrême droite »
se réjouissent nos scientifiques. Il faut resituer cette phrase dans
son contexte. Elle arrive plusieurs dizaines de lignes (496 mots pour
être précis) après la phrase qui l’introduit et que voici : « Nous
avons invité les participants à s’exprimer sur leurs motivations à
travers une question ouverte en début du questionnaire (“Pourquoi
manifestez-vous aujourd’hui ?”). ». Une seconde question ouverte portait sur les mesures à mettre en œuvre. Traduction : les « 70 scientifiques »
s’appuient sur le fait que l’immigration soit faiblement mentionnée
dans le cadre d’un questionnaire qui, d’une part, ne porte pas sur la
question de l’immigration et, d’autre part, se penche sur un mouvement
dont le mot d’ordre central — l’injustice fiscale — n’est pas
directement lié à l’immigration, pour conclure que le mouvement n’est
pas lié à l’extrême droite. L’imposture de cette interprétation est
totale. D’abord parce que tirer une telle conclusion est aussi solide
scientifiquement que de conclure que personne « n’aime la sauce au pesto »
parce que personne n’a mentionné le pesto dans un questionnaire sur les
plats à base de tomates. Ensuite, parce qu’identifier l’extrême droite à
la seule question de l’immigration est un réductionnisme des plus
navrants. Alors que ces recherches émanent de chercheur·es en sciences
politiques, c’est même confondant d’inculture politique. L’extrême
droite brasse historiquement bien plus large que la seule question de
l’immigration. Par exemple, l’extrême droite milite historiquement pour
la « réduction des impôts et des taxes » et contre la « pression fiscale », un thème qu’on spontanément mentionné 41,6 % des personnes interrogées lorsqu’elles ont répondu à cette même question...
De plus, transparaît derrière cette interprétation la condescendance de classe
dont font preuve ces chercheur·es, qui dédaignent ici la différence
entre ce qui est pensé et ce qui est exprimé. À aucun moment, ils et
elles ne semblent imaginer que les gilets jaunes de leur panel puissent
avoir eu des stratégies de réponse, que ce soit pour mettre en évidence
une thématique, pour masquer une appartenance politique ou encore pour
satisfaire les enquêteur·es [3]. Voilà pourtant trois biais de l’enquête bien connus et dont tout scientifique est supposé se méfier et faire mention.
Là encore, si cet article avait été un travail d’étudiant·es, la
copie aurait écopé d’une note médiocre et d’un commentaire invoquant au
minimum une sur-interprétation manifeste des « résultats ». Par la construction de leur enquête et par l’imaginaire qu’ils ont déployé pour en tirer des conclusions, ces « 70 scientifiques »
ont enfreint un principe de base des sciences sociales : celui d’éviter
la réification de leur objet. La réification, c’est la substitution de
l’objet de recherche lui-même, ici le mouvement des gilets jaunes, par
l’idée abstraite ce que les chercheur·es veulent y voir, ici un
mouvement ancré à gauche et distant de l’extrême droite. La réification
est un biais de l’enquête dont on apprend à se méfier au tout début de
sa trajectoire universitaire et qui est totalement inexcusable chez des
chercheur·es professionnel·les.
Par leurs interprétations, ces « 70 scientifiques »
ont dessiné le mouvement des gilets jaunes plus qu’ils ne l’ont
observé, orientant de la sorte toutes les lectures à venir. L’idée que
les gilets jaunes sont de gauche se trouve avalisée par le truchement de
la sélection effectuée en amont et d’une interprétation fantaisiste.
C’est comme si un historien, pour parler d’un mouvement social, se
contentait soit des archives militantes soit des archives ministérielles
pour construire son argumentation : dans les deux cas la lecture en
serait a priori partisane.
Une étude bien pratique pour avaliser un position politique discutable
Car c’est ici qu’intervient la problématique de la forme : nous nous
trouvons confronté·es à la volonté d’un certain nombre de scientifiques
d’asseoir une réalité désirée en utilisant la légitimité scientifique
qu’ils tirent de leurs places d’universitaires. Autrement dit nous nous
trouvons devant une tribune maquillée en enquête.
C’est sans doute ce qui explique une publication dans Le Monde
et qu’ils et elles n’aient pas attendu la fin de l’expérience, ce qui
est là encore vachement problématique en terme de démarche scientifique.
C’est, en définitive, une prise de position politique claire nous
enjoignant implicitement à rejoindre le mouvement.
Alors que les analyses qui dénoncent le caractère réactionnaire du
mouvement des gilets jaunes sont accréditées par l’émergence du « Référendum d’Initiative Citoyenne »
(RIC) comme revendication principale, quel peut bien être l’intérêt de
repeindre, contre toute évidence, les gilets jaunes en rose ?
Le gouvernement, qui a d’autres sources d’informations que ces études
biaisées, ne s’y trompe pas, lui. Quand il refuse d’augmenter le Smic
au profit de bidouilles sur la prime d’activité, il rappelle qu’il
s’agit aussi d’un mouvement en partie composé de petits patrons qui ne
souhaitent pas la hausse de leurs « charges salariales ».
Ce que confirme Maxime Nicolle au micro de RT et aux côtés de deux
autres leaders historiques des Gilets jaunes, Ludovski et Drouet, samedi
15 décembre. Quand un mouvement est flou ou contradictoire, il est
logique qu’un gouvernement de droite choisisse de ne satisfaire que les
revendications qui lui conviennent.
Pour les personnes qui ont décidé de participer à ce mouvement, il
s’agit avant tout de rester lucides pour ne pas se laisser avoir. C’est
la seule manière d’avoir une chance infime de déborder ce flot populiste
qui penche sévèrement à droite.
Pour notre part, nous pensons que cela n’est pas possible pour plusieurs raisons :
La composition du mouvement qu’il faut accepter d’observer honnêtement ;
Le travail idéologique mené par l’extrême droite depuis des années et
qui trouve aujourd’hui son expression, nous laissant presque sans mots ;
Sa capacité énorme de diffusion et de recrutement sur les réseaux
sociaux, ce qui a soutenu les Gilets jaunes jusqu’à présent et lui
permet de le faire virer de bord assez facilement comme on vient de le
voir avec le RIC ;
Le contexte massivement réactionnaire qui ne se change pas en quelques jours.
Si les sciences sociales peuvent nous aider, il s’agit de ne pas
foncer tête baissée dans des positions politiques déguisées en
recherches, qui, au final, n’aident pas en rajoutant de la confusion à
une situation déjà bien brouillée. Pour notre part, nous préférons
rappeler des positions aujourd’hui bien attaquées :
Un antiracisme sans conditions ;
Un internationalisme contre le retour du patriotisme ;
Un antifascisme qui ne tolère pas d’alliance de circonstance ;
Un anticapitalisme qui ne mélange pas carottes et salades, qui parte de
chiffres concrets sur la société et non de sentiments de malaise ;
Une solidarité de classe qui n’oublie pas l’exploitation ni les plus
marginalisé·es et amène à (re)construire les outils d’autonomie ;
Un idéal anti-autoritaire qui ne saurait se satisfaire d’un simulacre de démocratie à 70 millions.
Alors que les fausses informations sont légions sur les groupes
Facebook des gilets jaunes et ont une influence évidente sur le
mouvement, on saurait gré aux scientifiques de construire leurs enquêtes
un peu plus solidement afin d’éviter d’alimenter une machine médiatique
peu soucieuse de vérification. Alors que les sciences sociales font
l’objet d’attaques régulières de politiciens de tout bord [4],
on saurait gré aux chercheur·es de ne pas donner du grain à moudre à la
machine à dénigrer dans le but d’avaliser une position politique plus
que discutable. Collectif Athéné Nyctalope
P.-S.
Les utilisations fantaisistes des sciences sociales sont légions dans des textes discutant du mouvement des gilets jaunes.
Dans le temps où nous rédigions cet article, une analyse a été publiée par le site La vie des idées qui s’appuie sur l’étude dont nous démontrons ici les errements.
Parallèlement, le site Lundi Matin a publié l’interview d’un sociologue qui prétend avoir réalisé « dans le périmètre scientifique des sciences sociales une centaine d’entretiens — individuels, collectifs ou en groupe »,
le tout en situation de manifestation sur les Champs Élysées. À la
différence des questionnaires, constituées de questions fermées
destinées à être traités statistiquement, les entretiens sont une
méthode qualitative qui consiste à prendre le temps de discuter
longuement avec la personne pour lui laisser le temps de dérouler sa
pensée, afin d’ensuite l’analyser. Quiconque a été un minimum formé ou a
expérimenté l’enquête sociologique sait qu’il est impossible de
réaliser (et encore moins d’analyser) autant d’entretiens en aussi peu
de temps. On comprend que soit le sociologue en question ment, soit il
assimile à des entretiens des brides de discussion qui n’ont aucune
valeur méthodologique et ne sauraient servir de base à une analyse
sérieuse de la situation.
Ce mouvement semble faire abandonner à nombre de chercheur·es leurs
bases méthodologiques et leur distance critique. À chaque fois, le
mécanisme est le même : la légitimité scientifique, pourtant suspendue
par le manque de rigueur, sert d’argument d’autorité pour asséner comme
vérité une position politique. Les universitaires qui s’adonnent à de
telles pratiques espèrent sans doute en tirer des bénéfices politiques
mais ils ne servent pas le cause de leur disciplines, ni de l’université
publique, aujourd’hui fragilisées par les attaques médiatiques et
politiques dont elles sont l’objet constant. Dernière minute : au moment où nous réglons les derniers détails de cet article, une nouvelle enquête coordonnée par un sociologue et intitulée « Les gilets jaunes ont-ils une couleur politique ? » sort sur L’Humanité. Elle s’appuie sur 526 questionnaires, avalise comme celle du Monde la catégorie politique « ni de droite, ni de gauche »,
mais semble présenter des résultats différents qui ancrent les gilets
jaunes plus à droite que celle commentée ici. Nous ne la commenterons
pas en détail et nous conseillons de prendre toutes les pincettes
nécessaires lors de la lecture.
Notes
[1] Ou
supposé·es tel·les puisqu’il est très difficile de savoir de qui il
s’agit. Seuls six noms figurent en signature de l’article.
[2] Si N est la taille de l’échantillon, la marge d’erreur à 95 %
est 0,98 x √ N. Pour l’avoir en pourcentage il faut alors diviser le
résultat de ce calcul par N. Ici N=166,
marge=0,98 x √ 166=0,98 x 12,9=12,6 ; 12,6 / 166=0,076 soit 7,6%.
No comments:
Post a Comment