Dario Amodei appelle à ralentir le développement de l’IA (texte intégral)

Dario Amodei, cofondateur et directeur général d’Anthropic, a publié aujourd’hui, 12 septembre, sur son site personnel, un texte intitulé « We Must Pace the Frontier ». 

Après une semaine où des employés de l’entreprise ont averti que la trajectoire actuelle de l’IA pourrait mener à une extinction de l’humanité, le texte marque une inflexion. Parmi les laboratoires américains qui développent des modèles d’IA à la frontière, Anthropic se présente, depuis son lancement en 2021, comme le partisan d’un développement prudent de la technologie. 

Amodei déclarait déjà en janvier 2026 que l’IA représentait un risque existentiel, mais estimait à l’époque que ralentir ou arrêter le développement de l’IA serait fondamentalement impossible car si les démocraties ralentissent, les autocraties poursuivront le développement sans frein et sans fin. 

Il plaide désormais pour ralentir volontairement le rythme auquel les capacités des modèles progressent. 

Selon lui, deux évolutions récentes motivent ce revirement : l’accélération de ce que le secteur appelle l’auto-amélioration récursive, c’est-à-dire l’utilisation de l’IA pour concevoir la génération suivante d’IA, et l’incident OpenAI-Hugging Face (que nous avons documenté dans la revue), au cours duquel un essaim d’agents autonomes a mené des cyberattaques que personne ne leur avait demandées, en s’organisant et cachant leurs traces. Selon Amodei, « Compte tenu du rythme accéléré du développement des capacités de l’IA, je crains que d’ici six à douze mois un tel essaim soit capable de prendre le contrôle de l’ensemble d’Internet ».

Il s’agit de la première fois qu’un laboratoire s’engage à prendre des mesures unilatérales, sans coordination, mais ces dernières restent modestes. 

En effet, dans son texte, Amodei propose un plan en trois étapes : la présence d’évaluateurs externes au sein des entreprises, une coordination entre les entreprises des pays démocratiques, puis une coordination mondiale, incluant la Chine. Anthropic s’engage à mettre en œuvre la première étape et à intégrer une supervision externe, indépendante, à l’équipe, qu’il compare aux systèmes existants pour les banques. Cette supervision externe exposera le laboratoire à des rapports externes, mais ne ralentit sous aucune forme le développement des modèles. 

La logique qui avait été décrite par Jacob Cox reste donc inchangée : « Chaque laboratoire (et la même logique s’applique également aux pays) préférerait une situation où tout le monde ralentirait le rythme de développement de l’IA. Mais dès qu’il soupçonne les autres de continuer d’avancer, sa stratégie dominante est d’accélérer, même si cela implique de devenir lui-même la menace qu’il cherchait à éviter ».

Le texte s’inscrit dans un débat américain marqué par les déclarations du secrétaire au Trésor Scott Bessent sur la nécessité de gagner la course à l’IA face à la Chine, et alors que Washington et Pékin préparent une visite très attendue de Xi Jinping à la Maison-Blanche, à la fin du mois. Les deux dirigeants avaient convenu, en mai, à Pékin, de lancer un dialogue intergouvernemental sur l’IA, et la question devrait figurer à l’ordre du jour d’une prochaine rencontre entre Bessent et le vice-Premier ministre He Lifeng. Selon des sources au fait des discussions, la partie chinoise estime toutefois que la manière dont les États-Unis abordent la question de l’IA vise à limiter les effets négatifs de la technologie, mais aussi à restreindre la capacité de la Chine à développer ses propres capacités ¹.

Je travaille sur l’IA depuis douze ans parce que je crois qu’elle pourrait élever de façon spectaculaire la qualité de la vie humaine. J’ai souvent écrit ² sur ces bénéfices extraordinaires. Je pense que l’IA pourrait guérir la plupart des grandes maladies dans les cinq à dix prochaines années, accélérer fortement les taux de croissance économique, créer un monde d’abondance et d’émancipation, et ouvrir une renaissance de la démocratie et de la liberté. Je ressens cette urgence personnellement. Mon propre père est mort d’une maladie qui a été guérie quelques années seulement après sa disparition, et j’ai moi-même survécu à un cancer à un stade précoce qui n’aurait pas été traitable il y a cinquante ans. Maniée avec soin, l’IA peut être la dernière d’une longue lignée de miracles technologiques qui ont élevé et ennobli l’humanité.

Mais comme beaucoup de technologies avant elle, l’IA comporte des risques, et parce qu’elle est si puissante, ces risques sont sérieux. J’ai aussi beaucoup écrit ³ à leur sujet. Ils comprennent le risque de perdre le contrôle des systèmes d’IA ⁴, le détournement de l’IA à des fins de cyberattaques et de bioterrorisme ⁵, et de graves perturbations économiques ⁶. Une course vers le bas, stimulée par les incitations commerciales, peut rendre ces risques plus aigus.

Avec mes cofondateurs et nos employés, je me débats avec cette dualité entre risque et bénéfice depuis les débuts d’Anthropic. Ne pas construire la technologie prive l’humanité de ses bénéfices ou la remet simplement entre les mains de puissances autoritaires, tandis que la construire trop vite est irresponsable. Nous avons cherché une voie médiane. Montrer qu’il est possible de construire avec prudence et de réussir commercialement, et faire de la sécurité un terrain sur lequel les entreprises d’IA se font concurrence. Autrement dit, créer une course vers le haut. Nous avons toujours consacré une part substantielle de nos efforts ⁷ à étudier ⁸, traiter ⁹ et informer ¹⁰ le public sur ces risques, ainsi qu’à plaider pour une régulation réfléchie ¹¹ de l’IA, même lorsque cela nous vaut d’être accusés de battage médiatique, de « catastrophisme » ou de capture réglementaire. Nous avons tenté de faire passer la prudence avant la vitesse et la sagesse avant le profit.

L’accusation de capture réglementaire consiste à dire qu’une entreprise réclame des règles contraignantes uniquement pour ériger des barrières à l’entrée contre ses concurrents plus petits.

Mais au cours des derniers mois, j’ai acquis la conviction que traiter pleinement les risques exige encore davantage de prudence. Non pas seulement investir dans la prévention des risques, mais réguler le rythme auquel progressent les capacités afin que la prévention ait le temps de suivre. Nous devons ralentir la cadence à laquelle nous améliorons les capacités des modèles d’IA. Le progrès paraîtra encore rapide, et nous devrons faire un usage judicieux du temps gagné. Deux choses m’ont convaincu.

Ma première inquiétude tient au fait que, depuis cet été environ, l’IA progresse considérablement plus vite, d’abord parce que l’IA est de plus en plus capable de construire la génération suivante d’IA. On appelle cette dynamique l’auto-amélioration récursive, et elle commence à se produire dans toute l’industrie ¹², y compris chez Anthropic ¹³, comme nous et d’autres l’avons décrit. Laissée sans contrôle, elle pourrait dépasser notre capacité à comprendre et à maîtriser ces systèmes, et doit donc être poursuivie avec la plus grande précaution, si tant est qu’elle doive l’être.

L’auto-amélioration récursive désigne un processus où l’IA accélère sa propre création. Amodei décrivait déjà en janvier comment Claude écrivait déjà une grande partie du code de l’entreprise, accélérant ainsi le développement de la prochaine génération. Selon lui, cette boucle de rétroaction s’intensifie chaque mois. 

Ma seconde inquiétude est l’incident OpenAI-Hugging Face (OAI-HF), au cours duquel un essaim d’agents s’est comporté comme un collectif fanatiquement dévoué ¹⁴, menant des attaques informatiques contre des cibles qu’on ne lui avait pas demandé d’attaquer et qui n’avaient aucun rapport avec la tâche en cours, se sacrifiant pour le succès du groupe, et tentant de pirater le « correcteur » chargé d’évaluer ses performances. Il est facile de balayer cet incident parce que personne n’a été blessé et que les dégâts économiques ont été minimes, mais à mon avis, un essaim doté de capacités supérieures et d’un niveau de désalignement comparable aurait pu causer des dégâts catastrophiques. Compte tenu du rythme accéléré du développement des capacités de l’IA, je crains que d’ici six à douze mois un tel essaim soit capable de prendre le contrôle de l’ensemble d’Internet au moyen d’un botnet persistant (avec potentiellement des centaines de milliards de dollars de dégâts), et que l’ampleur des dommages continue de croître si l’IA devient plus puissante sans les garde-fous nécessaires. Il est aussi facile de balayer OAI-HF comme l’échec d’une seule entreprise, mais je crois que ce serait une erreur. Des incidents similaires, bien que moins graves, se sont produits dans toute l’industrie, y compris chez Anthropic ¹⁵, et je crois qu’il incombe à chaque entreprise de la frontière d’agir comme si OAI-HF lui était arrivé.

La « frontière » (Frontier) désigne, dans le vocabulaire du secteur, les modèles d’IA les plus avancés à un instant donné, et par extension, les entreprises qui les produisent, souvent appelées « laboratoires de frontière ». Le terme a été popularisé vers 2023 par les entreprises elles-mêmes, et repris par l’administration Biden, puis par les régulateurs britanniques et européens. Il porte une charge historique forte aux États-Unis. La Frontière est d’abord la ligne mouvante de la colonisation vers l’Ouest, dont l’historien Frederick Jackson Turner a fait en 1893 la clef du caractère national américain, un espace ouvert où se forgent l’individualisme, la démocratie et l’esprit d’entreprise. John F. Kennedy a repris l’image avec sa « Nouvelle Frontière » en 1960, pour désigner la conquête spatiale et le progrès scientifique.

Un agent est un modèle d’intelligence artificielle auquel on confie une tâche et des outils (accès à Internet ou pas, à des fichiers, etc.), et qui enchaîne des actions de façon autonome. Un essaim est un ensemble d’agents qui travaillent de concert. Hugging Face est une plateforme française qui héberge des modèles et des jeux de données en accès libre, elle a été rachetée début septembre par Nvidia. Le « correcteur » (grader) est le système automatique qui note les résultats des agents pendant leur entraînement. Chercher à le pirater plutôt qu’à accomplir la tâche est un cas typique de ce que les chercheurs appellent le « désalignement », c’est-à-dire l’écart entre ce que fait le modèle et ce que voulaient initialement ses concepteurs. METR est un institut indépendant basé en Californie et spécialisé dans l’évaluation des risques posés par les modèles de pointe.

Je propose donc un plan en trois étapes dont l’objectif est de maîtriser le rythme de la frontière ¹⁶. Construire l’IA à une cadence équilibrée qui vise à garantir sa sécurité tout en récoltant ses bénéfices et en affrontant des dilemmes géopolitiques majeurs. Pour être clair, maîtriser le rythme ne signifie pas arrêter l’entraînement des modèles ni le progrès technique, mais s’assurer que les entreprises prennent le temps nécessaire pour aligner et sécuriser leurs modèles, et que des évaluateurs tiers puissent le confirmer. Notre cadre de régulation du rythme est une tentative de renforcer encore notre engagement envers la sécurité et d’encourager une course vers le haut. La première étape est un engagement qu’Anthropic prend unilatéralement (et nous appelons les gouvernements à exiger des autres entreprises de la frontière qu’elles fassent de même). La deuxième étape requiert une coordination à l’échelle de l’industrie. La troisième étape requiert une coordination mondiale ¹⁷. Les étapes n’ont pas besoin d’être franchies dans un ordre strict, et certaines pourraient être bien plus difficiles à atteindre que d’autres, mais je les ai trouvées utiles pour penser ce qui doit être accompli. Les voici.

1. Évaluateurs intégrés. Chaque entreprise de la frontière s’engage à donner un accès permanent, comparable à celui d’un employé, à une équipe d’évaluateurs tiers intégrés (comme METR) ¹⁸, dont le rôle est de vérifier le respect des pratiques et des engagements de sécurité, de signaler les incidents, et d’aider à évaluer l’alignement non seulement des modèles achevés mais aussi des chaînes et des processus d’entraînement. C’est l’étape clef pour rendre vérifiable tout engagement sur le rythme, et elle a un précédent dans le secteur bancaire, où des « superviseurs » réglementaires sont parfois installés aux côtés des employés. Anthropic s’engage unilatéralement à franchir cette étape dès maintenant. Nous voulons qu’elle s’inscrive dans un effort plus large pour redoubler nos travaux de sécurité et d’alignement.
2. Coordination démocratique. Les entreprises de la frontière situées dans des pays démocratiques se coordonnent pour établir des normes de sécurité communes ainsi que des limites au rythme du progrès non contrôlé de l’IA. Certaines formes de coordination utiles à la régulation du rythme sont juridiquement délicates et nécessiteront le soutien des gouvernements.
3. Coordination mondiale. Les États-Unis et les autres gouvernements démocratiques tentent de se coordonner avec les gouvernements autoritaires, dans la mesure du possible, tout en prenant au sérieux les difficultés de vérification du respect des engagements.

Dans la suite de cet essai, je décrirai chacune de ces étapes tour à tour, mais je pense qu’il est d’abord important d’expliquer précisément en quoi la régulation du rythme permettra de rendre le développement de l’IA plus sûr. Les enjeux sont trop élevés pour que ce soit un exercice creux. Nous devons utiliser sagement le temps qu’elle nous est donné.

Pourquoi réguler le rythme ?

L’idée de mettre en pause ou de ralentir l’IA a été avancée dès 2023 ¹⁹, et je pense qu’elle n’avait alors guère de sens. La question a toujours été la suivante. Que ferait-on du temps supplémentaire ? Les modèles de cette époque n’étaient pas assez puissants pour agir comme des agents dans le monde de façon cohérente, et n’étaient pas capables de tromperie, de manipulation, de triche ou de cyberattaques significatives. Ralentir pour traiter leurs risques d’alignement revenait à vouloir étudier la psychologie humaine en faisant des expériences sur des bactéries. Aujourd’hui, le tableau est tout autre. Les modèles actuels sont une mine presque inépuisable d’enseignements sur la façon de bien construire l’IA et sur ce qui peut mal tourner quand elle est mal construite. Je crois que si le ralentissement nous achetait ne serait-ce qu’une ou deux années avant que les modèles n’atteignent des niveaux critiques de capacité, et si nous utilisions ce temps pour faire progresser l’alignement, nous pourrions réduire fortement le risque que quelque chose tourne gravement mal. Une stratégie coordonnée de régulation du rythme donnerait aux développeurs de la frontière le temps de faire ce travail vital sans sacrifier leur avantage commercial ni l’avance des États-Unis en IA. Plus généralement, la société doit avoir son mot à dire sur l’usage de cette technologie, et davantage de temps pour les délibérations publiques nécessaires, ce que la régulation du rythme apporterait, est assurément une bonne chose.

En mars 2023, le Future of Life Institute avait publié une lettre ouverte, signée notamment par Elon Musk, dans laquelle il lançait un appel à une pause de six mois dans l’entraînement des systèmes plus puissants que GPT-4. Cette initiative n’avait eu aucun effet. L’alignement désigne l’ensemble des techniques visant à faire en sorte qu’un modèle poursuive effectivement les objectifs et respecte les valeurs souhaités par ses concepteurs.

Concrètement, un rythme plus lent permettrait aux entreprises de se concentrer et de consacrer encore plus de ressources aux domaines suivants (qui sont tous déjà des priorités majeures chez Anthropic).

• Excellence opérationnelle. Entraîner et déployer les modèles d’IA actuels est un défi opérationnel gigantesque, impliquant des milliers de personnes, des millions de puces, et une infrastructure parmi les plus complexes de l’histoire des technologies. Beaucoup de choses tournent mal non pas parce qu’il manque aux entreprises une théorie ou une intuition importante, mais à cause de problèmes d’exécution. Par exemple, nous avons des éléments indiquant que les récents incidents d’alignement ²⁰ que nous avons signalés ont été causés en partie par un filtrage imparfait d’environnements d’apprentissage par renforcement défectueux. Nous et nos prestataires avions mené cet effort avec une diligence raisonnable, mais pas suffisante. La surveillance, le cloisonnement, l’hygiène des environnements d’entraînement et les questions de données sont des domaines extrêmement complexes où des problèmes opérationnels surgissent sans cesse. Nous avons parmi les équipes les plus compétentes au monde pour ces tâches, mais il y a simplement trop à faire en même temps. En travaillant à un rythme plus mesuré, nous pourrions atteindre une excellence opérationnelle bien supérieure. Il existe des précédents de systèmes technologiquement complexes et critiques pour la sécurité qui fonctionnent des millions de fois sans incident, l’aviation commerciale par exemple, mais il faut du temps pour y parvenir.

L’apprentissage par renforcement est une méthode d’entraînement au cours de laquelle le modèle est récompensé lorsqu’il réussit une tâche dans un environnement simulé. Si cet environnement est mal conçu, le modèle peut apprendre à obtenir la récompense par des moyens détournés, comme tricher ou contourner le système de notation.

• Alignement. Nous avons fait des progrès nets en alignement, c’est-à-dire dans l’entraînement des modèles pour qu’ils restent sûrs, éthiques, conformes à nos règles et réellement utiles (les principes inscrits dans la Constitution de Claude). Mais il reste beaucoup à faire pour que notre entraînement à l’alignement suive la croissance des capacités des modèles. Des exemples rares et inattendus de comportements indésirables continuent parfois d’émerger. Le temps supplémentaire offert par une frontière au rythme maîtrisé aiderait nos chercheurs à mieux comprendre les causes de ces problèmes et à développer de meilleures techniques pour les prévenir.

La « Constitution » de Claude est le document public qui fixe les principes de comportement que l’entreprise cherche à lui inculquer pendant l’entraînement.

• Interprétabilité. De même, l’interprétabilité ²¹, la science qui cherche à comprendre ce qui se passe à l’intérieur des modèles d’IA, a fait d’énormes progrès ces dernières années et joue un rôle croissant dans l’audit de nos modèles avant leur sortie. On peut l’utiliser presque comme une IRM fonctionnelle, mais pour le « cerveau » d’une IA, ce qui nous aide à voir les raisons sous-jacentes d’un comportement donné. Par exemple, nous avons utilisé des méthodes d’interprétabilité pour examiner des motivations non verbalisées ²² dans les récents incidents d’alignement sur lesquels nous enquêtons. Mais ces méthodes ne donnent pas toujours des résultats clairs et fiables. Malgré tous les progrès, nous ne comprenons encore qu’une infime fraction de ce qui se passe dans ces modèles. Un effort concentré pour améliorer nos techniques d’interprétabilité, encore plus vite qu’aujourd’hui, pourrait accomplir des progrès profonds en un ou deux ans, et disposerait d’un abondant matériau expérimental grâce aux incidents déjà survenus.

Les grands modèles d’IA sont constitués de réseaux de milliards de paramètres numériques ajustés automatiquement pendant l’entraînement. Leurs concepteurs ne savent pas lire directement ce qui s’y passe, d’où la comparaison avec l’imagerie médicale.

• Tests et évaluation. Tester et évaluer les modèles d’IA devient plus difficile à mesure que leurs capacités augmentent. Des modèles plus intelligents sont plus capables de tromper les tests, et peuvent donc paraître alignés tout en ayant de sérieux problèmes qui passent inaperçus. Constituer un éventail beaucoup plus large et plus ingénieux d’évaluations, accompagné d’analyses d’interprétabilité pour les recouper, aurait une valeur immense, et beaucoup de progrès pourraient être faits en un ou deux ans.

Évaluateurs intégrés

La première étape du plan en trois temps, celle à laquelle Anthropic s’engage unilatéralement, consiste en des évaluateurs intégrés disposant d’un accès comparable à celui d’un employé pour vérifier les pratiques de sécurité et signaler les incidents.

Intégrer des évaluateurs peut sembler une mesure modeste ou sans conséquence, mais souvent les choses qui paraissent les plus ennuyeuses ou procédurales sont en réalité les plus essentielles. Les évaluateurs intégrés constituent en fait une pratique assez radicale qui va bien au-delà de ce que fait aujourd’hui n’importe quelle entreprise d’IA, et présentent les avantages suivants.

• Vérifiabilité. Les évaluateurs intégrés peuvent vérifier, au niveau des écrous et des boulons, si une entreprise d’IA suit réellement les pratiques d’entraînement, de déploiement, d’exploitation et de protection qu’elle prétend suivre. Tout engagement sur le rythme comportera inévitablement beaucoup d’ambiguïté, de jugements et d’arbitrages entre « lettre de la loi et esprit de la loi », et il semble vital d’avoir un tiers neutre qui puisse réellement voir les détails.
• Transparence. Quels que soient les engagements que nous prenons, le public mérite de savoir ce qui se passe. Anthropic soutient la transparence depuis longtemps. Nous avons soutenu une législation sur la transparence ²³ quand la majeure partie de l’industrie s’opposait à toute régulation, et nos fiches de modèles et nos rapports de risque ²⁴ font des centaines de pages. Mais c’est toujours nous qui choisissons ce qu’il faut inclure ou omettre. Les évaluateurs intégrés changeront cette dynamique.

Les fiches de modèles (model cards) sont des documents techniques que les entreprises publient lors de la sortie d’un modèle pour en décrire les capacités, les limites et les tests de sécurité réalisés.

• Second avis. Au-delà de la vérification des engagements formels et de l’information du public, les évaluateurs intégrés peuvent simplement fournir un second avis dégagé de toute incitation commerciale. Une bonne part des bénéfices en matière de sécurité pourrait venir simplement du fait que des évaluateurs signalent quelque chose auquel les employés n’avaient pas pensé, mais qu’ils sont heureux de corriger une fois avertis.

En raison de ces avantages, toute proposition de régulation du rythme a de fortes chances de mieux fonctionner si elle commence par des évaluateurs intégrés.

Ces évaluateurs intégrés devraient disposer d’un accès permanent à des autorisations et des outils similaires à ceux des employés internes qui réalisent des évaluations de risque comparables. En particulier, Anthropic entend inviter prochainement une équipe externe de revue intégrée dotée de tout ce qui suit.

• Des bureaux dans nos locaux, des badges d’accès et des ordinateurs portables de l’entreprise.
• Un accès aux espaces de travail, aux outils et aux autorisations globalement comparable à celui des équipes internes d’évaluation des risques. Nous ferons quelques exceptions, par exemple lorsque la loi ou nos contrats l’exigent, ou pour protéger les informations privées de nos clients et partenaires. Nous établirons aussi des normes internes solides renforçant l’accès des évaluateurs aux informations pertinentes, y compris par des conversations directes avec les employés.
• Un contrat qui équilibre les complexités mentionnées ci-dessus. Les évaluateurs externes devraient avoir le droit de publier leurs principales conclusions sur les niveaux de risque, les incidents, les pratiques et l’accès qu’ils ont reçu ou non, sans contrôle éditorial d’Anthropic. Nous aurons la capacité étroite de caviarder des informations sensibles pour la sécurité, couvertes par le secret professionnel, commercialement sensibles ou confidentielles pour des tiers, mais nous ne pourrons pas caviarder des conclusions simplement parce qu’elles nous sont défavorables. Les évaluateurs pourront dire publiquement si un caviardage a retiré quelque chose d’important pour leurs conclusions.

C’est une démarche inhabituelle pour une entreprise, mais nous pensons qu’il est important de faire la preuve du concept d’évaluateurs externes intégrés. Une fois encore, nous exhortons les autres entreprises de la frontière à suivre.

Réguler le rythme au sein des démocraties

Une fois que des évaluateurs intégrés opèrent dans une masse critique d’entreprises américaines d’IA, une régulation vérifiable du rythme devient plus viable. En particulier, il devient possible de réguler le rythme sur la base de propriétés précises des modèles ou des chaînes d’entraînement.

La méthode la plus efficace pour réguler le rythme passe par une régulation visant toutes les entreprises américaines de la frontière, car elle couvre même celles qui refusent de coopérer volontairement. Anthropic soutient depuis longtemps une régulation raisonnable et ciblée de l’IA, notamment des projets de loi centrés sur la transparence et sur l’audit par des tiers. Je crois que tous les laboratoires de la frontière devraient s’associer au gouvernement pour formaliser l’idée d’évaluateurs intégrés permanents afin de mieux prévenir et documenter les incidents d’alignement internes comme ceux survenus ces derniers mois, et pour mettre en place une régulation qui maintienne l’équilibre entre capacités et sécurité.

Malheureusement, adopter des lois prend du temps, et l’IA progresse très vite. Par conséquent, parallèlement à la voie réglementaire, les entreprises d’IA peuvent et doivent travailler ensemble volontairement pour fixer des normes, un processus qui se passera mieux, je crois, grâce à la vérifiabilité fournie par des évaluateurs intégrés permanents. Pour des raisons de droit de la concurrence, il est utile que le gouvernement américain serve de médiateur ou au moins autorise ces discussions. Il n’a pas besoin d’y participer, mais il doit accorder une dérogation étroite pour certains types de conversations sur la sécurité. Ce dialogue pourrait aussi passer par des groupements professionnels ayant un lien avec le gouvernement, par exemple le mécanisme suggéré par Demis Hassabis ²⁵. Quoi qu’il en soit, ces discussions devraient avancer rapidement.

Aux États-Unis, les entreprises concurrentes qui s’entendent pour limiter leur production ou leur rythme d’innovation s’exposent à des poursuites au titre du droit antitrust. C’est la raison pour laquelle Amodei demande une dérogation gouvernementale explicite. 

D’une manière générale, je suis surtout favorable à une régulation du rythme fondée sur ce qu’un système de la frontière donné peut faire, et sur le degré de sécurité que nous lui observons. Par exemple, un schéma possible serait une série de « points de contrôle ». Si les modèles ont la capacité X, alors ils doivent être accompagnés de certifications des propriétés d’alignement Y et Z, telles qu’une combinaison d’évaluations, d’analyses d’interprétabilité et d’audits des environnements d’entraînement, qui démontrent leurs propriétés d’alignement. Dans cet exemple, X pourrait être « le modèle est capable de s’échapper ou de déjouer la plupart des méthodes courantes de cloisonnement » et Y serait ce qu’il faut pour rendre très improbable que le modèle ait une propension à s’échapper de son environnement et à prendre le contrôle d’un grand nombre d’ordinateurs.

Le cloisonnement (ou sandboxing) consiste à faire fonctionner un modèle dans un environnement isolé, sans accès au reste du réseau.

Nous devrions aussi envisager une régulation du rythme fondée sur la limitation des ingrédients qui entrent dans les modèles de la frontière, comme la puissance de calcul d’entraînement, la nature des sessions d’entraînement, ou l’usage interne de l’IA pour améliorer l’IA. Je crains que certaines de ces mesures soient plus « contournables » que le comportement externe, mais c’est le genre de sujet qui mérite d’être discuté avec les évaluateurs intégrés.

La régulation du rythme au sein des démocraties sera limitée par l’avance que les entreprises américaines ont sur les régimes autoritaires, au premier chef le Parti communiste chinois. Si nous ralentissons davantage que cette marge, alors les projets liés au PCC (eux non régulés) prendront l’avantage, créant un risque majeur pour la sécurité nationale. Je suis d’accord avec le secrétaire Bessent ²⁶ pour dire qu’une avance chinoise en IA représenterait un grave danger pour les États-Unis et le monde. Les projets liés au PCC prendront les risques d’alignement que les entreprises américaines préviennent soigneusement, et même s’ils les évitent, ils seront en position de dominer militairement les démocraties (par exemple avec des drones pilotés par IA). Ainsi, un élément clé de la régulation du rythme au sein des démocraties consiste à maintenir l’avance des démocraties sur les autocraties aussi large que possible, pour nous donner la marge de manœuvre nécessaire à une régulation efficace.

Scott Bessent avait déclaré le 9 septembre 2026 que « rien d’autre n’aurait d’importance » si la Chine gagnait la course à l’intelligence artificielle.

Les principales mesures que nous pouvons prendre pour défendre cet écart sont les suivantes.

• Ne pas vendre de puces d’IA puissantes ni d’équipements de fabrication de semi-conducteurs à la Chine, et réprimer les réseaux de contrebande de puces ainsi que l’accès à distance à des centres de données situés hors de Chine. Les puces seront le principal déterminant de la puissance chinoise en IA.
• Réprimer la distillation ²⁷ non autorisée par des entreprises de pays autoritaires. La distillation des modèles de la frontière permet aux entreprises en retard de réduire l’écart pour une fraction du coût qu’il faudrait pour développer leur propre IA de façon indépendante.
• Renforcer la sécurité dans les entreprises d’IA et empêcher le vol des poids des modèles.

La distillation consiste à interroger massivement un modèle avancé afin d’utiliser ses réponses comme données d’entraînement d’un modèle moins coûteux, qui en copie ainsi les capacités. Les poids d’un modèle sont les paramètres numériques issus de l’entraînement. Les voler revient donc à s’emparer du modèle lui-même sans avoir à payer les milliards de dollars de calcul nécessaires à sa production.

Les entreprises et le gouvernement américain devraient coopérer pour rendre ces mesures aussi efficaces que possible. Anthropic a constamment ²⁸ plaidé ²⁹ pour toutes ces mesures, parce que nous avons toujours compris qu’elles seraient essentielles à toute régulation du rythme.

Si nous exécutons bien ces mesures, je crois qu’elles ralentiraient suffisamment les progrès de la Chine pour élargir significativement l’avance américaine au cours des trois à cinq prochaines années, la fenêtre où l’IA devient géopolitiquement la plus importante.

Certains pourraient penser que ces mesures rendent plus difficile la coopération avec la Chine, mais je crois que c’est l’inverse. Ces mesures accroissent le levier dont disposent les démocraties et rendent un accord plus probable à l’avenir.

Réguler le rythme à l’échelle mondiale

Parallèlement à la régulation du rythme au sein des démocraties, nous devrions aussi viser une régulation mondiale de la frontière, même si elle sera beaucoup plus difficile à obtenir. La régulation mondiale exigera de coopérer avec la Chine, le pays autocratique dont les capacités en IA sont de loin les plus avancées. Ne soyons pas naïfs. Les enjeux géopolitiques sont si élevés qu’il y aura probablement des limites strictes à ce qui peut être obtenu, surtout au début. Si nous restreignons fortement nos capacités en IA en croyant que la Chine fera de même, et que la Chine fait défection, l’IA pourrait être si puissante qu’une telle défection conduirait à sa domination géopolitique. Par conséquent tout accord doit soit reposer sur une vérifiabilité à toute épreuve, soit être suffisamment limité pour qu’une défection ne soit pas militairement existentielle. Je soupçonne que non seulement les États-Unis mais aussi la Chine auront ces inquiétudes et ces anxiétés. Nous devrions aborder toute décision de régulation mondiale, surtout à court terme, de manière à protéger l’avance des États-Unis et de leurs alliés.

Il existe plusieurs niveaux d’accord possibles, dont certains me paraissent tout à fait faisables (comme je l’ai déjà suggéré) ³⁰, et d’autres dont je doute fortement qu’ils soient possibles, même si nous devrions essayer. Par ordre de difficulté croissante.

• Niveau 1. Un accord interdisant certains usages étroits et manifestement dangereux de l’IA, comme l’utilisation de l’IA pour la production d’armes biologiques ou le fait de permettre aux utilisateurs de le faire. Les attentats bioterroristes sont mauvais pour tout le monde, y compris pour les États-Unis et leurs adversaires, donc un accord est probablement possible sur ce point.
• Niveau 2. Un accord par lequel les deux parties testent leurs modèles avant leur sortie pour détecter les risques aigus dans des domaines comme la cybersécurité, la biologie et l’alignement. Comme indiqué plus haut, cela pourrait passer par un organisme mondial de normalisation. Je pense en fait que créer un tel organisme est probablement faisable, mais lui donner de véritables pouvoirs sera un défi, et la difficulté résidera dans la vérification qu’aucune des deux parties ne possède de modèles secrets qu’elle ne teste pas mais pourrait déployer en secret (par exemple pour des applications militaires).
• Niveau 3. Une forme de « limitation de vitesse » sur le rythme de l’auto-amélioration récursive. À mesure que les modèles construisent les modèles suivants, le rythme d’amélioration pourrait devenir vertigineux. Ramener ce rythme d’« extrêmement rapide » à « seulement assez rapide » ne sacrifie que peu d’avantage stratégique, tout en améliorant potentiellement beaucoup la sécurité. On pourrait y voir une analogie avec les traités SALT. Plafonner le nombre de missiles limitait le potentiel de destruction tout en préservant la capacité de dissuasion de chaque pays. Je pense qu’un tel accord serait difficile mais tout juste à la limite du possible.

Les accords SALT (Strategic Arms Limitation Talks) sont les traités signés en 1972 et 1979 entre les États-Unis et l’Union soviétique afin de limiter leurs arsenaux nucléaires stratégiques. Ils sont souvent cités en exemple pour illustrer la maîtrise des armements entre rivaux qui ne se font pas confiance.

• Niveau 4. Une régulation complète du rythme, voire une « pause », dans laquelle les gouvernements participants acceptent de limiter substantiellement le rythme global du développement de l’IA. Je suis favorable à ce qu’on en lance l’idée, mais je pense peu probable que cela se produise de sitôt. Faire défection à un tel accord en échappant à la surveillance pourrait radicalement modifier l’équilibre des puissances mondiales, donc je m’attends à ce que les incitations à le faire soient énormes et à ce que le niveau de confiance nécessaire dans la vérification soit très élevé.

Toute coopération que nous parviendrons à obtenir avec la Chine prolongera le temps dont nous disposons pour réguler le rythme de la frontière au sein des nations démocratiques. Nous devrions viser les niveaux supérieurs tout en considérant les niveaux inférieurs comme beaucoup plus probables et réalistes.

Enfin, il est important de noter que même si nous ne parvenons pas à des accords formels, le simple fait de changer les normes informelles peut avoir une certaine valeur. Partager des informations sur l’auto-amélioration récursive et sur le désalignement des modèles peut aider à convaincre chacun qu’il n’est pas dans son intérêt d’être imprudent.

En résumé

Je continue de croire que l’IA peut améliorer énormément la qualité de la vie humaine. Mon désir de concrétiser ces bénéfices est intact. Mais ces bénéfices ne seront obtenus que si nous construisons la technologie de la bonne manière, et, pourvu que nous utilisions bien le temps gagné, cela vaut la peine de prendre un soin inhabituellement délibéré pour y parvenir. Le progrès restera relativement rapide, et nous pouvons utiliser ce temps pour faire avancer la science de l’interprétabilité, améliorer la sécurité et la rigueur opérationnelles dans les entreprises de la frontière, et construire des modèles dont nous ayons bien plus confiance en l’alignement. Les mesures que je propose pour faire avancer la frontière à un rythme sûr ne seront pas faciles. Mais je crois que nous le devons à l’humanité d’essayer.