Qui se cache vraiment derrière l’affaire Thélyson Orélien ?

Testez le Grand Continent. Les idées et les analyses qu’on ne trouve nulle part. Mais que vous verrez bientôt partout. Dans votre boîte mail à partir de 8 euros par mois

Je m’appelle Pierre-Thomas Eckert, je suis docteur en philosophie morale de l’Université européenne de Rome et chercheur en méta-éthique au Centre for Character and Human Growth de l’Université Villanueva de Madrid. Je suis, avec Samuel Fitoussi et quelques autres internautes, un des membres fondateurs du collectif « Balance ton Claude » (@Pangramed) ayant révélé que le livre de Thélyson Orélien était très probablement le fruit d’une intelligence artificielle ¹. 

Pourquoi avoir participé à « Balance ton Claude » ? Même si j’ai beaucoup d’estime pour le travail de Fitoussi, je pense qu’il est important que le combat que nous menons contre la pollution de l’écriture par les contenus générés par IA soit aussi large et transpartisan que possible. C’est d’ailleurs la raison pour laquelle nous nous étions initialement mis d’accord sur l’anonymat, afin que l’examen des faits et des faits seuls influence le jugement éclairé de nos lectrices et de nos lecteurs. Maintenant que le nom de Fitoussi a été ébruité dans la presse, je pense qu’il est préférable que le mien sorte également, afin que le grand public comprenne mieux certaines des autres motivations qui animent notre collectif. 

C’était ça ou mourir et son auteur ne nous intéressent pas en tant que tels  : ils n’ont attiré notre attention qu’en tant que symptômes particulièrement éclatants de ce mouvement de prolifération de contenus générés par IA particulièrement délétère pour notre société. 

L’angle mort de l’affaire Thélyson Orélien

Je partage les analyses de Fitoussi publiées dans ces pages en ce qui concerne le danger existentiel que les progrès exponentiels des capacités des IA génératives font courir à la production littéraire et à la qualité des échanges sur les réseaux sociaux. Mais il me semble qu’un autre élément tout aussi important a été négligé tout au long de cette polémique  : le danger tout autant existentiel que l’IA fait peser sur la qualité de la production universitaire et académique. Comme le détaille très bien Fitoussi, la perspective d’un avenir dans lequel il régnera un soupçon généralisé sur la paternité humaine des textes publiés en ligne est déjà peu réjouissante en soi, mais elle devient particulièrement angoissante quand on ajoute le monde universitaire à l’équation. 

Je pense qu’il est important d’exprimer cette peur de manière rationnelle afin qu’elle ne soit pas balayée d’un revers de main par les «  technoptimistes  » les plus enthousiastes, et c’est pourquoi je publie cet article. En Europe, la quasi-intégralité de notre système d’attribution d’autorité épistémique repose implicitement ou explicitement sur l’édifice universitaire. Si vous tenez à affirmer une thèse sur n’importe quel sujet, il est très probable que vous ferez au moins implicitement appel à des formules du type «  Une étude a montré que X  », «  Le professeur Y affirme que Z  », «  Les résultats de l’étude A ont été confirmés par la méta-analyse B parue dans la revue à comité de lecture C », etc. Même s’il est assez plausible que vous ne fassiez pas directement appel à ces formules dans votre quotidien, il est en fait très improbable que ce qu’affirment les articles de presse ou les émissions télévisées à partir desquels vous allez forger vos opinions ne fasse pas appel à ce type d’informations. 

La polémique que nous avons lancée avec «  Balance ton Claude  » a d’ailleurs permis d’illustrer ce procédé  : nous n’avons utilisé l’outil de détection Pangram v.4 de manière aussi systématique que parce que des études indépendantes avaient confirmé sa fiabilité, et les commentateurs sérieux comme CheckNews de Libération ou Stéphane Jourdain sur France Inter ont avant tout analysé cet élément de notre argumentaire quand ils se sont intéressés à nos affirmations. 

Cette pyramide de justification n’est possible que si on peut se fier au fait que les universitaires écrivent, pensent, effectuent les opérations qu’ils décrivent, et obtiennent réellement les résultats qu’ils publient dans les revues scientifiques. 

Le fondement moral de la recherche 

Il y a donc un nécessaire pari moral à la source de notre confiance envers les études et la parole universitaire  : nous partons du présupposé que les auteurs soumettant un manuscrit ont 1) réellement pesé le sens des affirmations et des arguments qu’ils y présentent, 2) effectué et vérifié eux-mêmes les calculs et lu les sources qu’ils mobilisent dans leur justification  ; et nous parions également que 3) les rapporteurs évaluant les manuscrits les liront eux-mêmes avec scrupule, ne laissant pas passer d’affirmation injustifiée. 

Dans la pratique, les évaluateurs font reposer leur travail sur un accord de confiance implicite avec le chercheur ayant soumis le manuscrit puisqu’ils n’ont pas le temps de vérifier que chaque mot et chaque référence sont authentiques. La revue en double aveugle par les pairs (sur laquelle repose l’ensemble de la production universitaire) n’a en effet pas été conçue comme un dispositif infaillible de détection de fraude, mais comme un filtre de qualité reposant sur une présomption de bonne foi.

Le souci est que l’usage de LLM suffisamment puissants sape chacun de ces trois aspects  : 

• les dernières versions de Claude ou ChatGPT sont désormais capables de générer de la prose académique au moins en apparence de grande qualité, détectable seulement au prix d’une lecture attentive, et même celle-ci pourrait ne plus suffire face à leurs versions futures ; 
• les hallucinations grossières rendant facile la détection de fraude aux références sont de plus en plus rares ; 
• et l’IA peut même largement faciliter la falsification de données, voire en générer de toutes pièces et en effacer les traces. La plupart des textes générés par IA, quand ils font des affirmations fausses, le font en plus de manière suffisamment vague et subtile pour que cela ne saute pas aux yeux immédiatement. 

Les sanctions, quand elles tombent, sont encore trop rares et trop peu systématiques pour être dissuasives. Si nous ne faisons rien, nous sommes en route pour une généralisation de l’affaire Sokal ² – qui avait déjà miné la crédibilité de certains secteurs des sciences humaines et sociales – à l’intégralité du monde académique, y compris les sciences dures et les humanités les plus rigoureuses comme la philosophie analytique. 

Les résultats ne sont pas suffisants

Ne pourrait-on pas dire qu’in fine seul le résultat compte, et que, du moment que le papier est bon, les inquiétudes quant à l’usage de l’IA sont infondées  ? C’est, je pense, ne pas saisir la nature réelle du processus de production de connaissances dans le monde académique. 

Une première raison réside dans le fait que la revue aveugle par les pairs repose sur certaines incitations qui seront mises à mal par la généralisation de l’écriture IA. Étant donné qu’elle implique que le relecteur prenne sur son temps afin d’évaluer le travail d’un collègue, s’il sait que ce collègue n’a travaillé qu’avec son IA et n’a pas pris le temps de soupeser son propos au fur et à mesure, pourquoi s’échinera-t-il à essayer de déchiffrer ce que l’IA aura généré  ? Pourquoi fera-t-il confiance à l’auteur quant à l’exactitude des détails  ? Il ferait mieux de discuter du sujet avec sa propre IA ou de simplement ignorer le papier. Il n’est d’ailleurs pas étonnant que l’avènement des IA génératives ait coïncidé avec une explosion des soumissions de papiers, et que les relecteurs expriment leur mécontentement croissant à ce sujet. 

Si au contraire il n’y a plus aucun moyen de savoir si un papier a été écrit par un humain ou généré par un LLM, le signal de la bonne recherche risque de se perdre dans le bruit de la marée de slop IA ³, rendant le processus d’évaluation collective des connaissances impossible en pratique. La plupart des évaluations de textes se basent en effet en partie sur des méta-indices de fiabilité (l’expertise supposée de l’auteur, le prestige du journal, la fiabilité de la base de données, etc.) ; si ces indices ne sont plus fiables, le processus deviendra impossible à réaliser correctement dans le laps de temps imparti. Chaque chercheur se retrouverait isolé, ne pouvant faire confiance qu’à sa mémoire, sa conscience et aux chercheurs qu’il connaît déjà personnellement. 

Cela pénaliserait en outre fortement les jeunes chercheurs honnêtes, qui auraient du mal à obtenir la validation par les pairs par les canaux traditionnels  : qui se lancera dans un doctorat s’il sait que le produit de trois ans de dur labeur risque d’être considéré de la même manière qu’un texte généré en quelques heures par un LLM habilement dirigé  ? Les chercheurs ont beau être avant tout habités par un noble souci de la vérité, il est irréaliste de penser que les vocations continueront à fleurir avec un système d’incitations aussi négatives. 

Former des esprits, produire des énoncés 

Une approche de la recherche entièrement focalisée sur les résultats et ne faisant pas cas de l’usage génératif de l’IA ignore aussi une dimension importante de la pratique universitaire  : le fait que le trajet est au moins aussi important que le résultat pour un certain nombre d’aspects. 

Le monde académique n’est pas une simple machine à produire des affirmations vraies  : c’est avant tout un pourvoyeur d’êtres humains d’excellence, c’est-à-dire d’esprits ayant développé des qualités exceptionnelles, qu’elles soient épistémiques (rigueur, précision, concision, autonomie réflexive, économie argumentative, etc.) ou morales (patience, persévérance, intégrité, communication, etc.). 

Mais ces vertus ne se développent évidemment pas toutes seules  : ainsi qu’Aristote l’avait bien vu dans l’Éthique à Nicomaque, elles requièrent à la fois un long processus d’habituation et la supervision d’un maître vertueux permettant de corriger les erreurs en chemin. 

L’utilisation régulière de l’IA pour la génération de nos textes académiques – même les plus bénins, comme les résumés d’article ou les notes pour présentations – court-circuite totalement les circuits de récompense permettant d’acquérir durablement  ces dispositions : comment voulez-vous apprendre à cuisiner correctement si un chef trois étoiles vous prépare un plat copieux à chaque repas  ? 

Chaque personne reste théoriquement libre de s’atteler aux fourneaux, mais compter sur le fait que la majorité le fera est parfaitement irréaliste. 

Le mirage de la découverte accélérée

Un dernier point sur lequel il me semble que les technoptimistes ont tort  : l’affirmation selon laquelle l’accélération des progrès des LLM ne peut qu’entraîner une accélération des découvertes. Dans cet argument, le savoir est conçu comme un gisement très large de propositions vraies, et les LLM seraient nos foreuses les plus efficaces pour accélérer son exploitation  : pourquoi s’en priver  ? 

Cette vision naïve oublie qu’une des étapes constitutives du processus de découverte ou de création de connaissance réside dans la vérification par les pairs compétents. Or, si un «  morceau de connaissance  » est «  extrait  » par un LLM sans qu’aucun humain suffisamment compétent ne soit plus là pour l’évaluer, comment pourrions-nous être sûrs qu’il a réellement ce statut  ? Par le biais de «  pairs  » IA extrêmement puissants  ? 

Le fonctionnement interne des LLM est notoirement opaque et leur alignement sur nos notions morales élémentaires suscite déjà de nombreuses inquiétudes. La question est donc  : est-il souhaitable de faire advenir un tel délestage de nos autorités épistémiques à l’IA  ? 

Recentrer le débat

Que mon argument soit bien clair  : je ne suis pas en train de dire que la partie est irrémédiablement perdue ou que toute utilisation de l’IA doit être proscrite. Les LLM restent un instrument de poids en ce qui concerne la génération de critiques à nos propres arguments, l’exploration de nouvelles pistes de recherche ou le défrichage initial d’un terrain conceptuel. 

Mais un tel usage est nécessairement actif et revient bien plus à une « effort cognitif » qu’à l’« allégement cognitif » contre lequel les membres de «  Balance ton Claude  » ont réuni leurs forces. D’après mon expérience en philosophie analytique et de ce que j’entends et lis auprès de certains collègues, ce n’est pas cet usage sage et modéré qui se répand comme une traînée de poudre dans nos institutions. 

Certains d’entre eux, y compris des professeurs déjà bien établis, ne semblent pas mesurer le danger que cela fait peser sur la crédibilité de notre profession tout entière. Le passage d’une simple brainstorming assistée par l’IA à la rédaction intégrale d‘une «  idée que nous avions en tête mais que nous n’arrivions pas à bien formuler » pour un article ou une présentation est devenu bien plus répandu qu’on ne le croit, et c’est une très mauvaise nouvelle  : je pense que la panne sèche et la feuille blanche sont des passages nécessaires à l’affinement de la compréhension et l’IA nous fait gagner à court terme ce que nous ne pourrons que regretter à long terme. 

Comme le dit bien le philosophe américain Eric Schwitzgebel, il y a une énorme différence cognitive entre acquiescer en lisant quelque chose et rédiger un texte soi-même ⁴ : dans le premier cas, on est tenté de se contenter passivement d’un synonyme approximatif, alors que dans le second on est obligé de se creuser les neurones afin d’exprimer la nuance exacte. Une reformulation même élégante et plus concise de la part d’un LLM risque chaque fois d’introduire un subtil glissement sémantique vis-à-vis de ce que nous aurions exprimé si nous avions saisi notre papier et notre crayon, et la qualité générale du produit ne peut qu’en être altérée, même si ce n’est pas immédiatement visible à l’œil nu. 

Le risque d’un délestage massif et irréversible de nos autorités épistémiques et de nos capacités cognitives (cognitive offloading) au profit de l’IA est extrêmement réel, et, tout comme Fitoussi et nos autres camarades de « Balance ton Claude », je ne vois aucune perspective réjouissante à cela. 

Nous espérons que cette affaire aura servi de révélateur, même si nous ne nous faisons guère d’illusions à cet égard. Nous estimons néanmoins qu’il était de notre devoir d’alerter le grand public sur ces développements, et en ce sens la divulgation de l’identité de certains des membres du collectif est peut-être un mal pour un bien. Ainsi c’est avec le sentiment du devoir accompli que je conclus ce texte.