1 – Que dit l’étude mise en cause ?
Publiée le 25 février 2019 à l’occasion du vingtième anniversaire de la monnaie unique, l’étude du CEP (Center for European Policy) visait à répondre à l’une des rares questions qui déchaînent en général les foules au sujet de l’Union européenne : l’euro nous a-t-il été bénéfique ? Le think tank allemand se propose d’estimer les effets de l’introduction de l’euro sur la prospérité et la croissance des États membres de la zone euro, en comparant un hypothétique cas sans euro à la situation actuelle.
Les auteurs déploient alors un palmarès. Seuls l’Allemagne, les Pays-Bas et (très légèrement) la Grèce seraient sortis vainqueurs de l’euro vingt ans plus tard. Au contraire, depuis 1999, chaque Français aurait perdu 55 996 euros et chaque Italien 73 605, notamment en raison de l’impossibilité de rétablir la compétitivité des économies française et italienne par la dévaluation de la monnaie nationale.
Pour générer de telles projections aux allures de scandale, l’organisme a recours à une méthode d’évaluation dite de contrôle synthétique, dont l’utilisation dans ce contexte se révèle très délicate, comme nous essaierons de le montrer. En effet, les auteurs ne semblent pas conscients des biais possibles et ne font rien qui puisse les éliminer. Notre propre réplication de cette étude montre que les évaluations du CEP sont statistiquement non significatives, tandis qu’un article scientifique publié dans l’European Economic Review en 2018, employant les mêmes données et les mêmes méthodes, mais en prenant cette fois toutes les précautions statistiques d’usage, contredit assez largement l’étude du think tank allemand. Un tel écart interroge évidemment sur la bonne foi des auteurs du CEP.
Enfin, en dehors de ses extrapolations douteuses, le CEP exploite son analyse statistique bien au delà de ce qu’on peut lui faire dire pour avancer des propositions de politique économique plus influencées par un agenda politique que par des arguments objectifs de débat économique. C’est en cela un exemple intéressant de manipulation de l’outil statistique à des fins idéologiques, une forme assez élaborée de « fausse nouvelle ».
C’est peut être cette adéquation trop parfaite d’une étude prétendue objective aux agenda politiques de certains qui explique l’écho remarquable qu’elle a reçu dans la presse et la twittosphère françaises.
2 – Une étude qui a connu un écho remarquable en France
Après sa publication le 25 février, les conclusions de l’étude ont en effet été largement reprises telles quelles par la presse généraliste, sans mention d’aucun doute méthodologique. En France, c’était le cas surtout à partir du 27 février, par exemple dans Le Figaro, Atlantico, Valeurs actuelles, et Ouest France. L’étude a également été largement diffusée dans les réseaux favorables au « Frexit », notamment dans les rangs de l’UPR.
Rapidement, de nombreux économistes en Europe ont critiqué, sur les réseaux sociaux ou dans des articles, la méthode de l’étude qui, utilisée sans les précautions et vérifications d’usage, aboutissait à des résultats sans valeur. En Allemagne, l’un des économistes les plus respectés du pays, Clemens Fuest, a condamné l’étude aussitôt parue, de même que le Welt par exemple. Ce fut également le cas de l’Italien Alessandro Martinello sur le site Strade ou des Français Alexandre Delaigue et Pierre Aldama sur Twitter. Le GEG est également intervenu pour remettre en cause la méthode de l’étude.
Témoignage des transferts difficiles mais existants entre le monde de la recherche et le grand public, ces critiques ont alors progressivement été intégrées aux media généralistes eux-mêmes. Le Point et La Croix par exemple ont souligné dès le 28 février le peu de crédit à accorder à cette étude non rigoureuse. Le GEG a également abondé dans le même sens sur Europe 1 et dans 20 minutes. Le 1er mars, le département de vérification de l’information Check News de Libération a également sévèrement critiqué l’étude du CEP.
L’organisme qui a réussi ce coup médiatique était jusqu’ici pourtant très peu connu en France.
3 – De quoi le CEP est il le nom ?
Le Center for European Policy (Centrum für Europäische Politik) est un think tank allemand fondé à Fribourg, relativement peu connu outre-Rhin, qui s’est surtout illustré jusqu’à présent pour ses positions (ultra)libérales tranchées, par exemple en défendant la publicité pour le tabac ou en s’élevant contre la taxation des transactions financières. Le CEP a été fondé en 2006 par la fondation Stiftung Ordnungspolitik. Il s’agissait de prolonger les idées de l’École de Fribourg, initiatrice de la pensée ordolibérale, qui a rassemblé dans ses rangs des personnalités comme Walter Eucken, Friedrich Hayek, Ludwig Erhard ou d’autres proches du parti FDP. Il a reçu le soutien du réseau « Atlas », association créée par les libertariens états-uniens et financée par des acteurs tels que Philip Morris, ExxonMobil ou les frères Koch. Il appartient également au « réseau de Stockholm », lui-même financé en partie par le think tank libertarien étasunien Cato Institute et encore par les frères Koch.
Si les personnalités allemandes se réclamant aujourd’hui de l’ordolibéralisme sont loin de prendre systématiquement position contre l’euro (en témoigne par exemple le programme européen du FDP), elles tendent à s’opposer à toute « union de transfert » et à toute mutualisation des dettes publiques, en insistant sur la responsabilité des pays du Sud et la nécessité de réformes favorables aux affaires.
Toutefois, le retour au Bundestag du FDP en 2017 s’est accompagné d’un durcissement considérable des positions du parti libéral. Emmenés par le jeune et charismatique Christian Lindner, les libéraux allemands sont relativement distants vis-à-vis d’En Marche. Il est vrai que la politique de taux bas menée par la BCE depuis la crise a conduit à une marginalisation, dans les faits, de l’ancien dogme monétaire allemand, suscitant l’ire de quelques économistes médiatiques, au premier rang desquels Hans Werner Sinn (connu pour ses sorties sur l’affaire des soldes TARGET2) 1 et Bernd Lucke (co-fondateur de l’Alternative pour l’Allemagne, à l’origine comme parti libéral-conservateur et anti-euro).
C’est précisément du milieu des économistes ordolibéraux que l’AfD avait émergé en 2012-2013 comme parti anti-euro, avant d’investir la thématique des migrants à partir de 2015.
Cette étude d’un modeste think tank libéral et son écho rencontré outre-Rhin révèlent donc la perméabilité de la droite libérale allemande à un discours hostile à l’intégration européenne.
4 – Une étude contredite par au moins deux articles scientifiques
Les auteurs de l’étude du CEP justifient l’intérêt de leur démarche, face aux éventuelles critiques méthodologiques, en arguant du manque d’études sur le sujet. À les croire, ils seraient les premiers à proposer une analyse des coûts et gains de la monnaie unique.
Cette affirmation se révèle à l’examen mensongère : il existe en fait abondance d’articles scientifiques ayant proposé des mesures de l’effet de l’euro sur le PIB des États de la zone et ayant trouvé des résultats bien moins spectaculaires que le think tank allemand, même s’ils pointent en général que l’appartenance à la monnaie unique a rendu plus difficile la reprise dans le sud de l’Europe pendant les années 2012-2013.
Parmi cette littérature, deux études au moins ont employé la même méthodologie dite de « contrôle synthétique » que le think tank allemand : il s’agit du livre de Manassé et co-auteurs (2013) et de l’article de Puzzello et Gomis-Porqueras publié dans l’European Economic Review en 2018. Ces deux travaux divergent fortement des conclusions du CEP. Manassé et ses co-auteurs trouvent que l’euro a été également nuisible à l’Allemagne et à l’Italie (avant 2012), tandis que Puzzello et Gomis-Porqueras à l’aide des mêmes données que le CEP, trouvent que chaque État-membre examiné a perdu à l’introduction de l’euro, mis à part l’Irlande qui en aurait fortement profité, et les Pays-Bas pour qui le résultat est neutre. Les pertes de l’Allemagne dans cette étude sont au même niveau que celles de la France.
Comment comprendre de tels décalages entre deux études menées sur les mêmes données, avec la même méthode ?
Pour ce faire, il faut se pencher sur la méthodologie employée. Celle-ci s’avère particulièrement sensible à la qualité de sa mise en œuvre.
5 – Une méthode aux résultats impressionnants… mais peu fiables ?
La méthode de contrôle synthétique a connu un succès retentissant dans les sciences sociales depuis l’article fondateur d’Abadie et Gardeazabal (2003) 2 puis d’Abadie et coauteurs (2010) 3. Aujourd’hui, comme l’étude du CEP l’a démontré, elle est très largement utilisée même en dehors du monde de la recherche du fait de son opérabilité : on peut, armé de données macroéconomiques accessibles à tous, tenter d’estimer l’effet causal d’un choc économique de son choix en simulant la situation où ce choc n’aurait pas eu lieu.
Comme la plupart des méthodes d’évaluation statistique, elle repose sur une hypothèse très simple : l’effet d’un choc, d’une nouvelle politique économique par exemple, sur une variable donnée (typiquement le PIB par habitant), c’est la différence entre l’évolution observée de cette variable et l’évolution qu’elle aurait eue en l’absence de ce choc, qu’on nomme « contrefactuelle ».
Évaluer un traitement, c’est donc avant tout construire un contrefactuel. Pour un biologiste par exemple, il sera ainsi très facile de donner en laboratoire un traitement à 1000 souris et un placebo à 1000 autres. Le contrefactuel sera l’évolution de la santé du groupe placebo (ou groupe de contrôle). Mais les macroéconomistes n’ont pas ce luxe : on ne peut pas distribuer les politiques comme des médicaments ni puiser dans une source quasi infinie de pays-patients. Dès lors, comparer deux pays de but en blanc ne peut se faire que de mauvaise foi.
À ce problème, la méthode de contrôle synthétique apporte une solution très ingénieuse : simuler l’évolution de pays de contrôle « idéaux » à partir de la combinaison de plusieurs pays réels. Autrement dit, créer un contrôle « synthétique » qui représentera ce qui serait arrivé à un pays donné en l’absence de telle ou telle politique, à partir de la moyenne pondérée d’autres pays n’ayant pas vécu cette politique. La pondération est choisie par un algorithme pour minimiser la distance entre le pays « virtuel » et son équivalent réel, sur les années précédant l’introduction de la politique à évaluer.
Le succès de cette méthode auprès du grand public est assez compréhensible. Il s’agit finalement d’une manière sophistiquée d’effectuer ces comparaisons deux à deux entre pays qui nous viennent spontanément à l’idée quand on veut comparer des politiques économiques. Mais cette compréhension « naïve » de la méthode de contrôles synthétiques ne doit pas faire oublier qu’il s’agit avant tout d’une approche statistique qui, comme les sondages par exemple, est probabiliste et doit s‘apprécier en considérant sa marge d’erreur. Ce point crucial est totalement absent de l’étude du CEP. Utiliser une méthode statistique sans pouvoir juger de sa précision expose à la surinterprétation : si l’on arrive à enchaîner 3 lancers de dés parfaits après avoir trouvé un trèfle à quatre feuilles, ce n’est pas forcément grâce au trèfle.
Le problème majeur de la méthode de contrôle synthétique est justement qu’il est très difficile d’y estimer cette marge d’erreur : la déviation entre le pays d’étude et son contrôle synthétique est-elle aléatoire, liée au choix des pays qui composent le contrôle, ou bien réellement due au choc ? Abadie et co-auteurs (2010) 4 ont bien proposé une méthode d’estimation de la marge d’erreur, quoique leur approche ait été critiquée encore récemment 5. Et surtout, elle n’a même pas été mise en place dans l’étude du CEP.
Or, en l’absence de tests de ce genre, la méthode de contrôle synthétique s’avère remarquablement peu robuste : l’effet mesuré peut varier de manière dramatique en fonction du choix des pays auxquels on se compare.
Toute la validité de la méthode, comme on va le voir, réside dans le choix du panier à partir duquel l’algorithme choisit les pays qui feront partie du contrôle. Ils doivent être à la fois assez différents – il faut qu’ils n’aient pas subi la politique incriminée, ici l’introduction de l’euro – et assez similaires – puisque leur économie doit se comporter de manière proche de celle du pays concerné. Dans le cas de l’étude du CEP, il s’agit de trouver des pays non membres de la zone euro mais à la structure industrielle relativement proche de celle des membres, et n’ayant pas subi d’important choc extérieur pendant les années considérées. On voit déjà ici la difficulté de trouver de bons candidats.
6 – La question des groupes de contrôle
Or les groupes de contrôle construits par le CEP sont particulièrement peu crédibles. Un exemple suffit à le montrer : dans l’annexe du rapport, les auteurs précisent que la « France synthétique » qu’ils ont construite est constituée de deux pays seulement : 55,4 % de l’Australie et de 44,6 % du Royaume-Uni. La raison de ce choix est bien sûr qu’avant l’introduction de l’euro, l’évolution du PIB français « ressemblait » à une moyenne de l’évolution du PIB australien et du pays britannique. Les coefficients 55,4 % et 44,6 % sont choisis par un algorithme pour maximiser cette ressemblance. Le CEP conclut que la France a perdu à être dans l’euro. Le Royaume-Uni et l’Australie ont en effet connu de meilleures performances macroéconomiques que la France depuis 2000. Mais cela ne suffit pas à prouver que l’euro est en cause.
En effet, pour le Royaume-Uni, membre du Marché unique, ne pas rejoindre l’euro était une décision politique, qu’on peut difficilement décorréler des politiques implémentées outre-Manche au cours des années qui suivirent. Le Royaume-Uni a pendant les deux décennies suivantes calibré ses politiques économiques en réaction à celles menées dans la zone euro pour se comporter en « passager clandestin » de la monnaie unique. C’est donc un contrôle très contestable.
Mais plus contestable encore est le cas de l’Australie. Si elle n’a pas connu de récession à la suite de la crise financière mondiale, c’est pour des raisons bien indépendantes de sa non appartenance à l’euro, notamment l’essor de l’export vers la Chine de matières premières dans les années 2000, qui lui fait bénéficier indirectement du plan de relance chinois de 2008. On pouvait peut être penser dans les années 1990 que l’Australie, pays développé mais éloigné de la zone euro, était un contrôle convenable, mais tout a changé avec le développement de ses liens avec la Chine.
Sur cet exemple ou sur d’autres, les auteurs du CEP ne justifient jamais la composition des paniers de pays à partir desquels sont construits les contrôles synthétiques. Simple raccourci dans une étude grand public ? Non car parmi ces paniers se trouvent des pays qu’une analyse prudente exclurait plutôt des contrôles : certains États-membres du Marché commun sans être membres de l’euro (Royaume-Uni, Danemark, Suède), certains États ayant subi un changement important pendant la période (Australie) ou au contraire des pays en voie de développement dont la composition sectorielle et l’intégration aux cycles macroéconomiques mondiaux n’ont rien à voir avec celles des membres de la zone euro (Gabon !).
Comment être convaincu, en l’absence d’explications sur ce choix, que la Grèce sans l’euro aurait ressemblé à un mélange de 42,4 % de la Barbade (300 000 âmes), 17,1 % d’Israël (qui a connu plusieurs conflits dans l’intervalle) et 40,4 % de la Nouvelle-Zélande (qui a profondément dérégulé son économie dans les années 1980 au contraire de la Grèce) ? Ou encore que le Bahreïn (pétromonarchie dont le PIB par habitant est prêt de deux fois inférieur à celui de l’Allemagne et dont l’économie dépend essentiellement des cours du pétrole) et la Barbade (pays insulaire de 300 000 habitants) servent à simuler l’évolution du PIB d’une puissance industrielle et exportatrice comme l’Allemagne.
Mais après tout, il faut bien choisir un panier de pays de contrôle, alors pourquoi pas ceux choisis par le CEP ? Parce que c’est un coup de dés, et qu’il faut s’assurer que les résultats trouvés ne sont pas le fait de la chance… ou d’un choix délibéré dû au biais de confirmation.
Pour ce faire, un analyste prudent construit d’autres paniers de pays dont les résultats peuvent être comparés à ceux obtenus avec le premier. Si de nombreux contrôles plausibles donnent des résultats proches, on peut de manière crédible penser que l’effet qu’on observe n’est pas un coup de chance, mais une véritable régularité statistique.
Mais le CEP ne nous donne à voir qu’un seul groupe de contrôle, choisi de manière discrétionnaire ! Le GEG | Économie a donc essayé de faire ce que les auteurs du think tank allemand ne font pas, et en reprenant sa méthodologie et ses données, de construire d’autres paniers potentiels pour voir s’ils confirment les résultats du CEP. Le constat est cruel : la plupart des paniers potentiels aboutissent à des résultats inverses
7 – Des résultats bien peu robustes
Voici donc les résultats du CEP pour l’Allemagne, qui suggèrent un avantage à l’introduction de l’euro, reproduits par nos soins.
En modifiant le groupe de contrôle (Bahreïn, Suisse, Japon remplacés par Royaume-Uni, États-Unis et Singapour), on obtient un résultat inverse. Notons que le Royaume-Uni et Singapour font partie de l’échantillon retenu par le CEP pour ses comparaisons, et que les États-Unis sont utilisés dans l’étude de Puzzello et Gomis-Porqueras : ce choix de groupe de contrôle n’est donc pas, a priori, ni meilleur ni moins bon que celui proposé par le CEP.
Notons qu’on observe le même genre de déviations avec d’autres changements, même plus mineurs, dans le groupe de contrôle, comme ceux mis en avant par Alessandro Martinello.
Prétendons-nous pour autant avoir prouvé que l’Allemagne aurait « perdu » à introduire l’euro ? Non, bien sûr. Mais l’exemple précédent montre assez clairement qu’il est possible, en choisissant l’un ou l’autre groupe de contrôle, de parvenir à des conclusions opposées entre elles. La méthode adoptée manque donc de robustesse. Pire, elle peut être facilement manipulée.
Acceptons en effet un instant pour valable le choix des groupes de contrôle effectué par le CEP. Il s’avère alors malgré tout difficile de reproduire leurs résultats. Nous avons tenté ici cette reproduction exacte des huit expériences menées par les auteurs, avec les mêmes données 6 et les mêmes groupes de contrôle.
Pour quatre des pays étudiés (Belgique, Italie, Portugal, Espagne), nous trouvons des résultats similaires à ceux du CEP.
Pour les quatre autres (Allemagne, Pays-Bas, Grèce, France), les tendances sont beaucoup moins nettes que dans le rapport du think tank allemand. Nous pourrions ainsi affirmer que l’Allemagne et la Grèce n’ont ni gagné, ni perdu à adopter l’euro, que la France et les Pays-Bas (contrairement à ce qu’affirme le CEP) y ont fait des pertes légères. Bien sûr, répliquer une étude est toujours délicat, mais l’échec de nos tentatives de réplication montre a minima le manque de robustesse des conclusions de l’étude.
Un détail étrange attire notre attention dans chacun de ces quatre cas. Nous observons que les pondérations de certains pays dans le contrôle synthétique, choisis par l’algorithme comme non nuls dans notre simulation, sont nuls dans l’étude du CEP. S’il est normal que l’algorithme de pondération mette à zéro les contributions des pays les plus différents du pays à simuler, on peut toutefois s’interroger sur notre incapacité à reproduire les pondérations du CEP : on ne peut pas exclure l’hypothèse d’un cherry-picking, d’un choix délibéré des groupes de contrôle pour coller au résultat politique voulu.
8 – Un détournement d’article scientifique ?
Tous les indices – manque de précisions sur les choix méthodologiques, même dans l’annexe dédiée, choix discutable des paniers de contrôles et absence de spécifications alternatives, oubli de mesurer les barres d’erreurs sur les estimations effectuées – suggèrent en fait que dans cette étude, tout souci de rigueur méthodologique a été oublié au profit d’une volonté de confirmer un discours politique établi a priori et qu’il se serait agi de conforter par de la « science ».
Ce qui nous permet de le penser, c’est surtout qu’une lecture attentive du travail du CEP révèle un démarquage caractérisé de l’article de Puzzello et Gomis-Porqueras évoqué en introduction (d’ailleurs cité par les auteurs en note). La reproduction de l’article de deux économistes australiens est poussée assez loin : les données, la méthode et même la terminologie sont similaires. Mais quand il s’agit de passer à la pratique, on ne retrouve en rien dans l’étude du CEP les groupes de contrôles sélectionnés et justifiés avec soin par les deux universitaires.
Par exemple, l’Italie fictive du CEP est composée de l’Australie, du Royaume Uni, d’Israël et du Japon. Tandis que celle de Puzzello et Gomis-Porqueras choisit plutôt de se fonder sur le Canada, la Nouvelle-Zélande, Singapour et la Norvège, et explore d’autres choix possibles où les USA ou Trinité-et-Tobago remplacent la Norvège. Ces contrôles, même s’ils demeurent discutables, sont à la fois plus crédibles et plus robustes.
Ce qu’il faut évidemment noter, c’est surtout qu’à la différence du CEP, le panier de pays à partir duquel les deux chercheurs ont construit leurs contrôles est transparent, et que plusieurs paniers possibles sont testés : tout risque de cherry-picking est ainsi écarté, et la robustesse des résultats peut être testée dans la pratique. Les biais que nous avons notés plus haut dans l’étude du CEP sont cette fois pris en compte par les chercheurs. Et le résultat final est radicalement différent, comme nous l’avons vu en introduction.
Cette différence laisse songeur. Après tout, l’étude de Puzzello et Gomis-Porqueras était connue des auteurs du CEP. Ils la répliquent sur le plan de la méthode et cependant trouvent des résultats très différents, qui, coïncidence troublante, viennent confirmer les thèses de leurs soutiens politiques. Biais de confirmation ? Cherry-picking ? Manque de rigueur ? Pour un peu, on pourrait y voir un biais idéologique volontaire.
9 – Des recommandations politiques sans lien avec les données
On retrouve ce même manque de rigueur dans les recommandations politiques que le CEP tire de son évaluation.
La comparaison avec le travail scientifique mené par Puzzello et Gomis-Porqueras est encore ici significative. Pour extraire des recommandations politiques de leurs estimations statistiques, les deux économistes australiens font la synthèse de la théorie économique établie sur ce sujet, dite « théorie des zones monétaires optimales », et tentent d’expliquer les écarts de croissance observés par les mécanismes prévus par celle-ci.
Ils montrent que, conformément à ce qu’elle prévoit, les pays les plus ouverts au commerce international et dont la main-d’œuvre est la plus mobile dans l’Union sont les grands gagnants de l’euro, tandis que les pays avec la main-d’œuvre la moins mobile sont défavorisés. Les deux effets sont de magnitude similaire et les auteurs se gardent bien de recommander l’une ou l’autre politique.
Le débat est ouvert, et les auteurs se contentent de mettre en avant des faits établis statistiquement et la théorie la plus généralement admise, pour contribuer à celui-ci. Dans cette argumentation, rien ne prend la forme tristement célèbre du TINA : There Is No Alternative. L’établissement prudent d’une vérité scientifique ouvre au contraire la voie à une discussion politique constructive entre les alternatives possibles qu’elle révèle.
Cette approche prudente ne peut pas, bien entendu, être celle d’un think tank, mais pour autant, la légèreté avec laquelle l’étude du CEP tire ses conclusions est révélatrice de la démarche intellectuelle inverse qui l’anime. Le lien entre les (prétendues) pertes de PIB de la France ou de l’Espagne, par exemple, et la conclusion que ces pays doivent « continuer sur la voie des réformes » n’est jamais explicité. Le satisfecit accordé aux Pays-Bas ou à l’Allemagne ne l’est pas plus. Aucun élément de preuve théorique ou empirique n’est mobilisé pour écrire ces conclusions, qui semblent accolées aux résultats statistiques sans en dépendre logiquement. L’étude statistique semble n’être pour le think tank allemand qu’un instrument médiatique de mise en valeur de positions politiques fixées auparavant. L’effet TINA est ici bien présent : pour le CEP, il n’y a pas d’alternatives aux « réformes à l’allemande » (du marché du travail, notamment) et les chiffres sont supposément là pour le montrer.
10 – Une séquence révélatrice des évolutions du débat public français
Que révèle finalement cette confrontation entre la publication du CEP et la réalité des méthodologies statistiques ? Peut être déjà simplement l’importance d’accorder une attention constante à la manière dont sont établis les faits que l’on discute, en particulier quand l’objet en jeu est une étude statistique, à laquelle les chiffres donnent un prestige particulier, et qui est extrêmement sensible – bien plus que ne le croit le grand public – à toutes sortes de biais, qui peuvent souvent aller jusqu’à inverser le sens des résultats.
Dans le monde académique, il existe des normes strictes pour construire des faits et les interpréter. Les « données » ne sont en effet jamais données mais toujours construites. Toutefois, la pratique de la relecture par les pairs vient atténuer le risque de publications partiales ou mal étayées. Le parti-pris individuel d’un chercheur est toujours possible, mais une certaine objectivité – qui n’assure bien entendu pas contre les effets de mode ou de chapelle – est garantie par le collectif, qui incite chacun à produire des études sérieuses, vérifiables et bien argumentées.
Rien de similaire dans le champ du débat public, où l’importance d’un argument se mesure plutôt à sa capacité plus ou moins grande à frapper les esprits. Tout en demeurant conscient de la différence nécessaire entre ces deux ordres, on peut prendre a minima l’affaire du CEP comme un cas d’école du mésusage des statistiques, et un rappel des précautions qu’impose leur utilisation comme argument : attention à la marge d’erreur, consultation de travaux statistiques similaires, prudence quant aux conclusions : les chiffres ne parlent jamais d’eux mêmes, il faut les faire parler.
Mais l’impact du rapport du CEP en France appelle plus qu’un rappel de méthode. Elle interroge. Ce ne sont pas en effet les seuls partisans de l’UPR qui ont relayé le document du think tank allemand, mais de grands titres de la presse française. Et les remises en cause méthodologiques ne sont pas venus de think tanks ou d’universitaires reconnus mais de jeunes économistes de moins de 30 ans, sur Twitter. Cette réception contraste avec celle advenue dans les autres États concernés au premier chef, puisqu’un article du Welt publié par un économiste de renom a vite critiqué l’étude en Allemagne et qu’en Italie, un site d’actualité fréquenté a publié une remise en cause très détaillée de la méthodologie de l’étude du CEP deux jours après sa publication.
La diffusion de la publication du CEP serait-elle un révélateur de la manière dont s’organise le débat public en France ? La presse française, pourtant à jour en termes de fact-checking, n’a pas été capable de vérifier les faits quand il s’est agi de rendre compte d’une étude mimant les apparences de la scientificité. Plusieurs rédactions nationales ont ainsi pu rendre compte de l’étude faussée du CEP, sans prendre apparemment le temps de consulter un économiste ou un expert.
Cela laisse penser que dans le dialogue entre la classe politique et la sphère médiatique qui constitue le débat public français, il n’existe pas de véritable espace pour d’autres sources d’argumentation ou de vérification.
L’université qui pourrait être une instance de production des idées et de vérification ne joue pas vraiment ce rôle : ne formant pas les élites, elle n’a que peu de contacts avec elles, ce qui se traduit par une méconnaissance de celles-ci envers les productions du champ académique, et une ignorance parfois mêlée de mépris pour les normes d’administration de la preuve qui y ont cours.
Les think tanks censés apporter des idées nouvelles n’y parviennent pas toujours non plus. Il faut dire qu’ils sont une création relativement récente et qu’il n’existe rien de comparable à la concentration d’institutions regroupées par exemple à Washington dans « Think Tank Row », où se retrouvent universitaires, hauts fonctionnaires et hommes politiques autour de projets qui structurent le débat public.
Cette faiblesse du débat public hexagonal a été longtemps compensée par une spécificité hexagonale : la figure du grand intellectuel critique, sommité scientifique et homme engagé. Ces grandes voix rappelaient à intervalles réguliers les factions médiatiques et politiques au respect de la vérité et animaient le débat national dans leurs tribunes réservées des grands quotidiens nationaux.
Mais les grands intellectuels ont disparu avec la spécialisation universitaire qui ne laisse plus de place à ces passeurs des marges, à la fois savants et politiques, que surent être des individualités comme Ernest Renan, Lucien Herr, Raymond Aron, Claude Lévi Strauss ou Pierre Bourdieu.
Peut-être finalement que ce qui peut prétendre les remplacer, c’est la vigilance collective du monde académique. L’affaire du CEP aura montré qu’un groupe de jeunes économistes pouvait se constituer sur Twitter en humble « intellectuel collectif » le temps de dénoncer une étude fallacieuse et recevoir un écho inattendu dans la presse. La jeunesse des acteurs du débat comme le moyen de son expression sont significatives : Twitter est sa porte d’entrée dans le débat public. Ce n’est pas le moindre des paradoxes de cette affaire que les réseaux sociaux, si souvent vus comme des risques pour la vie démocratique, permettent finalement de réintroduire dans les lieux du débat la voix de ce tiers nécessaire qu’est le monde académique.
Twitter, agent de lutte contre les fake-news, qui l’eût cru ?
Sources
- Les soldes TARGET2 sont la contrepartie interne à l’Eurosystème des flux de capitaux privés intra-européens. En 2011, au plus fort de la crise, alors que des capitaux de toute l’Europe venaient s’investir en Allemagne à la recherche d’un placement sûr, Hans Werner-Sinn avait terrifié l’opinion allemande en interprétant les flux TARGET2 correspondant à ces flux de capitaux (et donc proportionnels et opposé aux flux privés) comme un prêt massif de l’Allemagne à l’Europe du Sud, ce qu’ils n’étaient en aucun cas puisqu’il s’agissait d’une simple conséquence mécanique du fonctionnement de la BCE et des marchés bancaires nationaux. Pour plus de détails, voir Tooze, Adam. Crashed, Les Belles Lettres, Paris, 2018 (chap. 16, paragraphe II).
- Abadie, Alberto et Gardeazabal, Javier. « The Economic Costs of Conflict : A Case Study of the Basque Country », In American Economic Review, vol. 93 (n°1), pp. 113-132, 2003.
- Abadie, Alberto, Diamond, Alexis et Hainmueller, Jens Hainmueller. « Synthetic Control Methods for Comparative Case Studies : Estimating the Effect of California’s Tobacco Control Program », In Journal of the American Statistical Association, vol. 105 (n°410), pp.493-505, 2010.
- Ibid.
- Hahn, Jinyong et Shi, Ruoyao. « Synthetic Control and Inference », In Econometrics, vol. 5 (n°4), 2017.
- Celles de la Banque Mondiale.