Lorsque Scott Aaronson est recruté chez OpenAI, Ilya Sutskever, le scientifique en chef, lui propose de réfléchir à « une définition mathématique de ce que signifierait, pour l’IA, aimer l’humanité ». Aaronson en rit presque quand il raconte cette anecdote. Il vient d’un autre monde.
Théoricien de l’informatique, il a longtemps été professeur au MIT et il est aujourd’hui professeur à l’Université du Texas à Austin. Il est l’un des grands spécialistes de la théorie de la complexité et du calcul quantique. Lauréat de l’ACM Prize in Computing en 2020, il a été élu en 2026 à la National Academy of Sciences.
Depuis le 2 août, l’AI Act impose aux fournisseurs opérant dans l’Union de rendre les contenus produits par leurs modèles détectables comme ayant été générés ou manipulés spécifiquement par une intelligence artificielle. Dans la foulée, Anthropic a annoncé l’introduction dans les textes produits par Claude d’un watermark invisible ravivant des débats plus anciens : un tel marquage est-il souhaitable ? Peut-il être introduit sans dégrader la qualité des réponses ? Quelles robustesse offre-t-il face au développement de techniques conçues pour l’effacer ? Ne sert-il pas d’abord aux laboratoires pour reconnaître les textes générés par LLM et ainsi s’entraîner uniquement sur des écrits humains, par crainte qu’entraîner un modèle sur des contenus générés par l’IA ne conduise justement à une baisse de fiabilité et de qualité ? Posera-t-il à terme la question de la propriété intellectuelle ?
Nous avons demandé à Scott Aaronson, qui travaille sur ces questions depuis avant même le lancement de ChatGPT, de partir du commencement. Il nous a raconté comment il a conçu le watermarking et nous a révélé les raisons de son départ de Sam Altman, tout en partageant ses inquiétudes et ses questionnements concernant ce qui lui semble être la fin de l’ère de la recherche en mathématiques « dans la forme que nous lui connaissions. »
Pour recevoir nos entretiens et nos analyses directement dans votre boîte mail, testez un abonnement au Grand Continent, à partir de 8 euros par mois
Lorsque vous avez commencé à travailler pour OpenAI en 2022, en 2022 chez OpenAI, vous avez développé le watermarking. Votre approche influence aujourd’hui la plupart des grands laboratoires d’IA. Quel en est le principe général et comment en êtes-vous venu à travailler sur ce sujet ?
L’idée du watermarking textuel consiste à modifier très légèrement le fonctionnement d’un modèle de langage, sans en dégrader la qualité. Les utilisateurs obtiennent des réponses qui ressemblent exactement à celles auxquelles ils sont habitués avec Claude, ChatGPT ou d’autres modèles mais un signal statistique est incorporé dans l’aléa (la fonction pseudo-aléatoire cryptographique) utilisé pour choisir les mots. Il devient alors beaucoup plus facile d’établir non seulement qu’un texte a été généré par une IA, mais aussi qu’il provient d’un modèle en particulier.
Beaucoup de gens ont réfléchi à cette idée. À ma connaissance, j’ai été le premier à penser spécifiquement au watermarking des LLM. C’était peu après mon arrivée chez OpenAI, à l’été 2022. J’avais été recruté par Ilya Sutskever et Jan Leike, qui dirigeaient alors la recherche sur l’alignement. J’imagine qu’ils étaient lecteurs de mon blog. C’est ainsi qu’ils m’ont trouvé et m’ont proposé de les rejoindre. C’était juste avant le lancement de ChatGPT, le 30 novembre 2022.
Quelle vision aviez-vous alors du développement de l’IA ?
J’avais conscience de ce qui était en train de se passer. J’avais testé GPT-3. Il m’avait énormément impressionné, dès 2020 ou 2021, et je me demandais pourquoi plus de gens ne lui prêtaient pas davantage d’attention.
Mais à l’époque, OpenAI disait encore : « Écoutez, nous ne sommes qu’une petite organisation à but non lucratif. Nous essayons de faire les choses correctement pour l’humanité et en toute sécurité ».
J’ai appris à me montrer extrêmement méfiant face à ce que je lisais en ligne et à ne jamais présumer qu’un message provenait réellement de la personne dont il revendiquait l’identité.
Scott Aaronson
Ils m’ont offert à l’époque une année pendant laquelle je pouvais rester l’essentiel du temps au Texas, auprès de mes étudiants et de ma famille, en me rendant simplement à San Francisco tous les mois, pour réfléchir notamment à la manière dont l’informatique théorique pouvait contribuer à la sécurité de l’IA.
Où en était la recherche sur ces questions ? Rendre l’IA sûre était-il une priorité ?
À ce moment-là, il y avait déjà un groupe de personnes travaillant sur ces questions. Une bonne partie s’était en fait constituée autour de Paul Christiano, un ancien étudiant que j’avais eu au MIT et qui, lorsque je suis arrivé, venait de quitter OpenAI pour créer sa propre organisation, l’Alignement Research Center (ARC).
Paul avait réussi à montrer que la clef pour rendre l’IA sûre pouvait se trouver dans la théorie de la complexité. C’est en partie ce qui les avait amenés à s’intéresser à moi. Mais je voyais déjà une difficulté majeure : les progrès réalisés dans le contrôle de l’IA, l’assignation d’objectifs et la garantie de leur suivi fiable étaient presque entièrement empiriques.
En quoi était-ce un problème ?
Cela n’était pas suffisant : il fallait énoncer explicitement les valeurs et les principes que l’on souhaitait voir respecter par l’IA, un peu à la manière des romans d’Isaac Asimov. Pour cela, on a élaboré ce que nous appelons aujourd’hui des « constitutions ».
À partir de ces principes, on peut ensuite évaluer empiriquement l’effet de ces différentes approches et publier des résultats montrant, par exemple, qu’une intervention donnée réduit de 20 % les comportements de tricherie, ou de 30 % la propension du modèle à accepter d’aider un utilisateur à fabriquer des armes chimiques. On essayait d’autres pistes également, comme l’apprentissage par renforcement.
Vous êtes donc passé de votre domaine d’expertise premier, l’informatique, à ce qu’on pourrait appeler de la psychologie expérimentale…
Le tout sans comprendre réellement ce qui se passait. À l’été 2022, je réfléchissais donc à ce que la théorie pouvait apporter à la sécurité de l’IA. Je me suis demandé s’il était possible de faire quelque chose qui aurait un impact concret sur le produit. Cet été-là, j’ai été la cible d’une campagne de harcèlement particulièrement violente sur mon blog, menée notamment par des personnes se faisant passer pour mes collègues ou d’autres interlocuteurs. J’ai alors appris à me montrer extrêmement méfiant face à ce que je lisais en ligne, et à ne jamais présumer qu’un message provenait réellement de la personne dont il revendiquait l’identité.
En quoi cet événement a-t-il guidé vos recherches ?
J’ai multiplié les pistes. L’une d’entre elles aurait consisté à demander aux grands laboratoires de conserver une trace de tous les contenus générés par leurs modèles, afin de pouvoir ensuite leur soumettre un texte et leur poser la question suivante : « Avez-vous déjà produit ce contenu ? » Une telle solution soulèverait évidemment des questions relatives au respect de la vie privée. Et même si elle pouvait être mise en œuvre sans véritable atteinte à la confidentialité des utilisateurs, il resterait très difficile d’en convaincre le grand public.
Une autre idée était de traiter cela comme un problème d’IA parmi d’autres, à savoir entraîner un réseau de neurones à distinguer aussi bien que possible un texte humain d’un texte généré par une IA. Cela a déjà été fait dans une large mesure. Une entreprise, GPTZero, travaillait notamment là-dessus. Un outil qui a beaucoup de visibilité aujourd’hui s’appelle Pangram et beaucoup de professeurs l’utilisent pour essayer de déterminer si leurs étudiants ont eu recours à l’IA.
Mais il était déjà clair, il y a quatre ans, que tous ces outils produiraient nécessairement des faux positifs. Or, même avec un taux relativement faible de quelques pourcents seulement, le problème demeure considérable : lorsqu’une université accuse un étudiant de triche, elle doit pouvoir le faire avec un degré de certitude extrêmement élevé. Il faut donc ramener le taux de faux positifs à un niveau de l’ordre d’un cas sur mille, voire moins.
C’est ce qui m’a conduit à l’idée du watermarking.
À partir de quel trait caractéristique du fonctionnement des LLM avez-vous développé le watermarking ?
Le fonctionnement des LLM est intrinsèquement probabiliste. Tout le monde peut le constater : vous pouvez envoyer plusieurs fois exactement le même prompt et obtenir une réponse différente à chaque fois. Pourquoi ? Parce que le réseau de neurones transformer ne calcule pas directement le mot suivant d’une phrase. Il calcule une distribution de probabilité sur les différents mots possibles, ou plutôt les tokens, susceptibles de suivre.
Ensuite, en temps normal, il échantillonne simplement un token à partir de cette distribution. Cela fournit une nouvelle entrée, qui est réinjectée dans le LLM. Celui-ci génère alors une distribution pour le token suivant, en échantillonne un, et ainsi de suite de manière autorégressive.
Quel est le lien entre la longueur d’une réponse, son entropie et le niveau de confiance statistique permettant d’établir qu’elle provient d’un modèle particulier ?
La génération de texte par un LLM comporte intrinsèquement de l’entropie. Il est même possible d’en mesurer la quantité. L’incertitude effective au moment de choisir le token suivant est souvent de l’ordre d’un bit par token. Autrement dit, le modèle dispose en moyenne d’une petite marge de manœuvre pour choisir parmi plusieurs suites plausibles.
Cependant, si vous demandez à ChatGPT d’énumérer les cent premiers nombres, il peut le faire, mais il n’y aura pratiquement aucune entropie, sauf s’il joue sur les espaces ou les retours à la ligne. Ce n’est donc pas un contenu que l’on peut vraiment espérer watermarker. Même chose si on lui demande, par exemple, le texte de la Déclaration d’indépendance.
Mais en général, lorsque nous demandons quelque chose à une IA, même s’il existe en un sens une réponse unique correcte, il existe un nombre de façons différentes de l’exprimer qui croît exponentiellement avec sa longueur. Plus le texte est long, plus on peut donc espérer y incorporer un signal.
Lorsque vous cherchez à détecter le watermark, vous n’avez pas accès aux probabilités. Vous ne voyez pas non plus le prompt qui a conduit à ce texte. Vous ne voyez que le texte lui-même. À partir de lui seul, vous devez pouvoir calculer s’il y a un watermark. Mieux encore, il faudrait pouvoir détecter quelles parties du texte comportent un watermark et lesquelles n’en comportent pas.
J’ai conçu une méthode concrète permettant de faire tout cela. Il y avait notamment des questions statistiques : étant donné l’entropie contenue dans cette séquence de tokens, que faut-il faire pour maximiser la puissance statistique du watermarking obtenue par token ? Il existe un arbitrage entre la probabilité d’un faux positif et celle d’un faux négatif. Mais on veut minimiser la probabilité d’erreur, et le faire avec aussi peu de tokens que possible.
J’ai développé une partie de la théorie de base en établissant une règle pour choisir le token suivant en appliquant un peu d’analyse et de statistiques que j’ai dû dépoussiérer de mes années d’études. Des chercheurs en machine learning m’ont ensuite expliqué que j’avais redécouvert une règle déjà connue dans leur domaine : la règle Gumbel-Softmax. J’ai donc appelé ma méthode le schéma Gumbel-Softmax. Elle n’avait jamais été utilisée à cette fin.
Beaucoup de gens pensent qu’il existe nécessairement un compromis entre le watermarking et la qualité de la réponse. Pourquoi cette intuition est-elle trompeuse ?
Immédiatement, certaines personnes ont soulevé cette objection concernant le compromis entre le watermarking et la qualité du texte en pensant que les probabilités seraient biaisées dans une certaine direction, ce qui altèrerait la qualité de la réponse.
Je me suis rendu compte que ce compromis n’existait pas. Il suffit de remplacer l’entropie utilisée pour choisir le token suivant par du pseudo-aléatoire d’un type particulier, qui favorise certaines combinaisons étranges de tokens plutôt que d’autres. Certains n-grams, par exemple une séquence de cinq tokens consécutifs, seront favorisés, tandis que d’autres seront défavorisés.
Chez OpenAI on me disait : « Notre mission est d’empêcher l’IA de détruire l’humanité. Sommes-nous vraiment si préoccupés par des étudiants qui trichent sur leurs devoirs ? »
Scott Aaronson
Mais comme ce choix repose sur une fonction pseudo-aléatoire, il reste imperceptible pour un lecteur ordinaire. On peut même dire quelque chose de plus fort : la réponse peut être rendue cryptographiquement indistinguable d’une réponse normale du LLM. Je ne l’avais pas tout à fait démontré mais des chercheurs comme Sam Gunn, Miranda Christ ou Or Zamir, dont beaucoup étaient à Berkeley, ont ensuite prolongé mon travail pour prouver qu’il était possible d’obtenir une véritable indistinguabilité cryptographique.
Il restait ensuite des mathématiques intéressantes à faire pour déterminer exactement comment choisir de manière pseudo-aléatoire le token suivant de façon à conserver la même distribution apparente, tout en incorporant un signal qui puisse être détecté ultérieurement.
Comment les grands laboratoires ont-ils abordé la question du watermark ?
OpenAI m’avait affecté un ingénieur, Hendrik Kirchner. Il a développé une implémentation de ma méthode, nous l’avons testée. Elle semblait fonctionner exactement comme la théorie le prédisait. De mon côté, je donnais des conférences publiques pour faire connaître le sujet.
C’est précisément à cette période que ChatGPT est sorti. La question s’est alors posée de savoir si OpenAI allait réellement déployer cette technologie. Cela n’a jamais été le cas. Pendant tout le reste de mon temps chez OpenAI, je revenais parfois à la charge. J’ai même porté le sujet directement auprès de Sam Altman.
Pourquoi avez-vous défendu le déploiement du watermark ?
D’abord, mes collègues universitaires me suppliaient de le faire. Dès 2023, ils voyaient déjà l’arrivée massive de travaux d’étudiants générés par IA, et la situation n’a fait qu’empirer depuis.
J’avais en tête toutes sortes de mauvais usages possibles des LLM. La triche académique était peut-être la plus évidente, mais il y avait aussi l’usurpation d’identité ou le phishing.
Les choses ne sont pas toujours aussi binaires. Un argument revenait régulièrement chez OpenAI, auquel je n’avais pas pensé : « Il y a toutes ces personnes dont l’anglais n’est pas la langue maternelle et qui utilisent GPT pour rendre leur anglais plus fluide. Si toutes les réponses comportaient un watermark, on pourrait même considérer que c’est discriminatoire de leur imposer cela. »
Il y a donc bien eu un arbitrage de ce type. Mais j’avais le sentiment que, pour la grande majorité de mes collègues universitaires, une fois le problème expliqué, la réponse allait de soi : bien sûr qu’il fallait le faire.
J’ai porté le sujet du watermarking directement auprès de Sam Altman. OpenAI ne l’a jamais déployé.
Scott Aaronson
Les équipes commerciales d’OpenAI ont mené des enquêtes auprès des utilisateurs et une proportion non négligeable détestent tout simplement l’idée du watermarking. L’appliquer, c’était risquer de les laisser partir vers un LLM concurrent. Je pense que c’est cet argument qui a finalement emporté la décision chez OpenAI.
L’équipe chargée de la sécurité et de l’alignement n’a jamais été particulièrement enthousiaste, parce qu’elle raisonnait ainsi : « Notre mission est d’empêcher l’IA d’échapper à tout contrôle et de détruire l’humanité. Sommes-nous vraiment si préoccupés par des étudiants qui trichent sur leurs devoirs ? Peut-être que les devoirs doivent de toute façon changer, voire disparaître. »
Beaucoup de gens avaient l’intuition que la bataille était perdue d’avance. Pourquoi même essayer ? Mais je pensais que le coût social était très faible et que si nous parvenions à convaincre les entreprises d’IA de se coordonner sur ce sujet, cela enverrait un signal positif.
Après l’annonce d’Anthropic, un dépôt GitHub intitulé « Watermarks Remover for AI Content » a atteint environ 11 000 étoiles. Sommes-nous condamnés à entrer dans un jeu du chat et de la souris entre apposition et suppression de watermarks ?
L’autre question que nous nous sommes posée était la suivante : est-ce vraiment utile de le faire ? Dès que nous le ferons, les gens adopteront des contre-mesures. Ils trouveront des moyens de supprimer le watermark. Je n’avais pas de réponse très convaincante, car il est vrai qu’avec un minimum d’efforts, on peut les supprimer.
L’attaque la plus simple serait de demander à ChatGPT : « Rédige mon devoir, mais en espagnol ou en français », ou dans n’importe quelle autre langue. Puis, vous passez le résultat dans Google Translate. Vous obtiendrez alors un document complètement différent de celui dans lequel le filigrane avait été incorporé.
Une autre méthode consiste à demander à ChatGPT : « Rédige mon devoir, mais insère le mot “ananas” entre chaque mot. » Il suffit ensuite de supprimer tous les « ananas ». Cela peut légèrement dégrader la qualité, mais dans l’ensemble, cela fonctionne.
Pour toute forme de watermarking qui repose uniquement sur la séquence des n-grammes, vous obtenez alors une séquence de n-grammes entièrement différente. Et on peut très bien imaginer que des personnes créent sur le Web des outils qui rendent cette manipulation encore plus facile. Il existe déjà toutes sortes d’outils pour aider à contourner les détecteurs d’IA.
Puisque cela arrivera de manière prévisible, pourquoi se donner la peine ? Il y a beaucoup de choses que nous faisons simplement pour ajouter un peu de friction. Nous fermons nos portes à clef. Quelqu’un peut-il crocheter la serrure ? Oui, mais cela ajoute de la friction au processus. On pourrait aussi se demander pourquoi Google n’abandonne pas tout simplement le combat qu’il mène depuis des décennies contre les spécialistes du référencement, le SEO. Il essaie simplement de leur rendre la tâche plus difficile. Je me suis donc dit que cela valait peut-être la peine d’essayer.
Vous avez présenté le watermarking sémantique comme une direction de recherche importante : il s’agirait d’encoder la provenance au niveau du sens plutôt qu’au niveau du choix de chaque token. À quoi pourrait concrètement ressembler le watermarking sémantique ?
Je me suis rendu compte que, si l’on voulait un watermark capable de résister à l’attaque Google Translate, à l’attaque « ananas » ou à quelque chose de ce type, il faudrait réellement incorporer un signal au niveau des concepts sous-jacents plutôt qu’au niveau des tokens.
Je ne savais absolument pas comment faire. Il existe toutefois des idées et des choses que l’on peut essayer, car à l’intérieur des LLM, les concepts sont représentés sous la forme de vecteurs dans des espaces de grande dimension. On pourrait donc essayer de perturber légèrement ces vecteurs, de les déplacer de manière à y insérer un watermark.
Contrairement à ma méthode, nous n’aurions ici aucune garantie théorique que cela fonctionne. Mais nous pouvons le tester empiriquement.
Des progrès ont été réalisés dans ce domaine : certaines méthodes de watermarking sémantique semblent effectivement fonctionner et présenter un certain degré de robustesse. Cela reste néanmoins, à mon sens, un domaine de recherche très actif. Il ne s’agit pas de ce qu’Anthropic a déployé. Mais peut-être devront-ils s’y mettre à l’avenir si leur méthode actuelle devient trop facile à contourner.
L’Union européenne insiste sur l’interopérabilité du watermark. Comment voyez-vous le problème de la coordination entre les différents fournisseurs ?
À la fin de mon passage chez OpenAI, j’avais compris que je ne pouvais certainement pas résoudre ce problème de coordination. J’ai effectivement parlé de watermarking avec des personnes chez DeepMind et Anthropic. Anthropic ne semblait pas très intéressé à l’époque, en 2023. Je suis évidemment heureux de voir qu’ils ont maintenant effectivement déployé du watermarking.
Ce que j’avais proposé a conduit Google à développer SynthID. SynthID était très proche de ma proposition à une différence près : Google n’a jamais donné au public accès à un outil permettant de détecter le watermarking. Il faut leur en faire la demande. Des universitaires que je connaissais et qui avaient demandé cet accès n’ont jamais obtenu de réponse.
Assez clairement, nous vivons la dernière année de recherche en mathématiques et en informatique théorique dans la forme que nous lui connaissions.
Scott Aaronson
C’était un autre sujet de discussion chez OpenAI. Si nous utilisons le watermarking, est-ce que nous permettons à n’importe qui de détecter le watermark ? Ou faut-il être professeur, journaliste pour y avoir accès ? Dans ce cas, il faut mettre en place toute une infrastructure pour décider qui obtient cet accès.
Je me suis dit que je n’avais certainement ni l’influence ni l’habileté politique nécessaires pour convaincre OpenAI de faire cela. Leur raisonnement était : « Pourquoi le ferions-nous si Anthropic ou DeepMind ne le font pas ? » Peut-être que les trois doivent le faire en même temps, mais cela devient alors un problème de coordination.
Chercher à l’imposer par la loi est-il plus pertinent ?
J’ai déjà eu l’occasion de discuter avec des élus californiens qui souhaitaient rendre le watermarking obligatoire. La Californie a effectivement adopté une loi imposant le watermarking, mais uniquement pour les contenus audiovisuels, en exemptant les contenus textuels.
Mais, en dehors de la Californie, qui d’autre pourrait désirer une telle loi ? Le gouvernement fédéral américain ne compte pas imposer une telle mesure. L’autre candidat évident a été l’Union européenne, qui a inscrit le watermarking dans l’AI Act mais les détails ne semblent pas clairs.
Pour quelle raison ?
Une partie de la difficulté est juridique : si l’on rend le watermarking obligatoire, quelle technique faut-il imposer précisément ? Et que se passe-t-il si celle qui est inscrite dans la loi est ensuite contournée ? Vous voulez pouvoir dire qu’il faut faire les meilleurs efforts possibles ou utiliser la meilleure approche disponible à un moment donné. Mais comment traduire une obligation aussi évolutive dans la loi ?
Vous avez récemment écrit qu’il s’agissait « Assez clairement de la dernière année de recherche en mathématiques et en informatique théorique dans la forme que nous lui connaissions ». À quels changements doit-on s’attendre ?
La semaine dernière, je suis retourné chez OpenAI pour la première fois depuis 2024. Ils organisaient un workshop sur l’avenir des mathématiques. Nous avons vraiment assisté à quelque chose de spectaculaire cet été : de plus en plus de problèmes mathématiques importants sont résolus soit avec l’aide de modèles d’IA, soit entièrement par ces derniers.
Ils ne savent pas encore tout faire. Mais si vous comparez la situation à celle d’il y a trois ans, où ils avaient encore du mal avec les mathématiques de base et commettaient des erreurs triviales, vous verrez qu’aujourd’hui, ils font de la recherche en mathématiques de haut niveau.
Si l’on projette cette trajectoire dans quelques années, cela mènera à une transformation complète de la nature de notre travail de mathématiciens ou de chercheurs en informatique théorique. Dans le meilleur des cas, nous pourrons continuer à apporter notre expertise scientifique, déterminer quelles grandes directions de recherche sont intéressantes ou non, comprendre les résultats et les expliquer.
Mais pour ce qui est de résoudre effectivement des problèmes clairement formulés, nous avons désormais des modèles qui sont meilleurs que tous les humains, peut-être encore à l’exception de quelques-uns. De la même manière que la programmation a changé drastiquement ces deux dernières années, il semble que la recherche mathématique soit sur le point de connaître la même transformation.
Quelles réflexions cela suscite-t-il chez vous ?
J’y réfléchis beaucoup. J’y pense évidemment à propos de mes étudiants. À quoi dois-je les former ? Quelles compétences seront utiles dans le monde vers lequel nous nous dirigeons ?
C’est une question à laquelle pratiquement tous les chercheurs en mathématiques réfléchissent déjà ou devraient réfléchir.
Comment se préparer à cette transformation ?
L’une des discussions importantes en cours porte sur les normes de publication pour les travaux générés par IA. Nous ne l’avons toujours pas déterminé.
Il y a eu ce cas célèbre de la conjecture jacobienne, réfutée par quelqu’un qui avait simplement posté sur Twitter : « Bonjour. Je regardais la Coupe du monde, et mon ami Fable a trouvé le contre-exemple suivant à cette conjecture vieille de cent ans. » C’était hilarant, mais j’imagine que ce ne sera pas, à l’avenir, la manière standard d’annoncer ce type de résultats.
Doit-on les publier sous forme d’articles de recherche ? Mais il y aura alors tellement d’articles générés par IA qu’il n’y aura pas assez de personnes pour tous les lire. Est-ce que nous aurons simplement des articles écrits par des IA et évalués par des IA ? Les déposera-t-on sur des serveurs de prépublications ?
C’est un peu comme dans Le Seigneur des anneaux, lorsque les habitants fortifient leurs villes avant l’invasion des Orques.
Scott Aaronson
Décidons-nous que, pour être publié dans une revue, un résultat peut avoir été découvert par une IA, mais qu’un humain doit ensuite avoir assimilé l’idée et être capable de l’expliquer à d’autres humains ? Ou faut-il qu’un humain en assume la responsabilité si le résultat est faux ? Nous essayons encore de déterminer quelles devraient être ces normes.
J’ai parlé avec des personnes siégeant, par exemple, dans les comités de programme des grandes conférences d’informatique théorique. C’est un peu comme dans Le Seigneur des anneaux, lorsque les habitants fortifient leurs villes avant l’invasion des Orques. Ils s’attendent à recevoir des milliers de soumissions générées par IA lors du prochain cycle de conférences, et ils n’ont aucune idée de la manière dont ils vont gérer cela, car il n’y aura tout simplement pas assez de personnes pour les évaluer.
Ils seront donc contraints de s’appuyer en partie sur l’IA.
Pensez-vous qu’il soit important de préserver le rôle des humains dans la recherche, ou ne feront-ils que ralentir le processus de découverte ?
Je pense qu’il est très important de continuer à réfléchir au monde dans lequel nous voulons vivre et au rôle que nous voulons y jouer. À terme, cette question dépasse largement le cadre de la carrière des mathématiciens ou des chercheurs en informatique théorique. Pour notre petit monde, c’est évidemment important, mais ce sont des questions auxquelles toute l’humanité sera confrontée.
Voulons-nous vraiment que des robots accomplissent tous les métiers s’ils sont capables de les exercer mieux que nous ? Et quel monde cela nous laisse-t-il ? Une utopie dans laquelle tous nos besoins sont pris en charge et où nous pouvons simplement profiter de nos loisirs ? Ou une dystopie dans laquelle les robots finiraient par se demander : « Au fond, pourquoi avons-nous encore besoin des humains, pour quoi que ce soit ? »
Tant que nous continuerons à nous poser ces questions ou tant que nous ne saurons pas garantir la sécurité de l’IA, alors oui, absolument : nous voulons au minimum conserver des humains qui possèdent suffisamment de compétences pour pouvoir comprendre, autant que possible, ce que font les IA.
Et si les IA commencent à élaborer des stratégies contre nous ou, par exemple, à nous fournir des preuves mathématiques qui paraissent correctes, mais qui sont en réalité subtilement fausses parce qu’elles poursuivent un autre objectif, il faudra que nous soyons capables de le détecter.
