{"id":357630,"date":"2026-09-12T20:04:33","date_gmt":"2026-09-12T18:04:33","guid":{"rendered":"https:\/\/legrandcontinent.eu\/fr\/?p=357630"},"modified":"2026-09-12T21:48:25","modified_gmt":"2026-09-12T19:48:25","slug":"dario-amodei-appelle-a-ralentir-le-developpement-de-lia-texte-integral","status":"publish","type":"post","link":"https:\/\/legrandcontinent.eu\/fr\/2026\/09\/12\/dario-amodei-appelle-a-ralentir-le-developpement-de-lia-texte-integral\/","title":{"rendered":"Dario Amodei appelle \u00e0 ralentir le d\u00e9veloppement de l\u2019IA (texte int\u00e9gral)"},"content":{"rendered":"\n

Dario Amodei, cofondateur et directeur g\u00e9n\u00e9ral d’Anthropic, a publi\u00e9 aujourd\u2019hui, 12 septembre, sur son site personnel, un texte intitul\u00e9 \u00ab We Must Pace the Frontier \u00bb. <\/p>\n\n\n\n

Apr\u00e8s une semaine o\u00f9 des employ\u00e9s de l\u2019entreprise ont averti que la trajectoire actuelle de l\u2019IA pourrait mener \u00e0 une extinction de l\u2019humanit\u00e9<\/a>, le texte marque une inflexion. Parmi les laboratoires am\u00e9ricains qui d\u00e9veloppent des mod\u00e8les d\u2019IA \u00e0 la fronti\u00e8re, Anthropic se pr\u00e9sente, depuis son lancement en 2021, comme le partisan d’un d\u00e9veloppement prudent de la technologie. <\/p>\n\n\n\n

Amodei d\u00e9clarait d\u00e9j\u00e0 en janvier 2026<\/a> que l\u2019IA repr\u00e9sentait un risque existentiel, mais estimait \u00e0 l\u2019\u00e9poque que ralentir ou arr\u00eater le d\u00e9veloppement de l\u2019IA serait fondamentalement impossible car si les d\u00e9mocraties ralentissent, les autocraties poursuivront le d\u00e9veloppement sans frein et sans fin. <\/p>\n\n\n\n

Il plaide d\u00e9sormais pour ralentir volontairement le rythme auquel les capacit\u00e9s des mod\u00e8les progressent. <\/p>\n\n\n\n

Selon lui, deux \u00e9volutions r\u00e9centes motivent ce revirement : l’acc\u00e9l\u00e9ration de ce que le secteur appelle l’auto-am\u00e9lioration r\u00e9cursive, c’est-\u00e0-dire l’utilisation de l’IA pour concevoir la g\u00e9n\u00e9ration suivante d’IA, et l’incident OpenAI-Hugging Face (que nous avons document\u00e9 dans la revue<\/a>), au cours duquel un essaim d’agents autonomes a men\u00e9 des cyberattaques que personne ne leur avait demand\u00e9es, en s\u2019organisant et cachant leurs traces. Selon Amodei, \u00ab Compte tenu du rythme acc\u00e9l\u00e9r\u00e9 du d\u00e9veloppement des capacit\u00e9s de l’IA, je crains que d’ici six \u00e0 douze mois un tel essaim soit capable de prendre le contr\u00f4le de l’ensemble d’Internet \u00bb.<\/p>\n\n\n\n

Il s\u2019agit de la premi\u00e8re fois qu\u2019un laboratoire s\u2019engage \u00e0 prendre des mesures unilat\u00e9rales, sans coordination, mais ces derni\u00e8res restent modestes. <\/p>\n\n\n\n

En effet, dans son texte, Amodei propose un plan en trois \u00e9tapes : la pr\u00e9sence d’\u00e9valuateurs externes au sein des entreprises, une coordination entre les entreprises des pays d\u00e9mocratiques, puis une coordination mondiale, incluant la Chine. Anthropic s’engage \u00e0 mettre en \u0153uvre la premi\u00e8re \u00e9tape et \u00e0 int\u00e9grer une supervision externe, ind\u00e9pendante, \u00e0 l’\u00e9quipe, qu’il compare aux syst\u00e8mes existants pour les banques. Cette supervision externe exposera le laboratoire \u00e0 des rapports externes, mais ne ralentit sous aucune forme le d\u00e9veloppement des mod\u00e8les. <\/p>\n\n\n\n

La logique qui avait \u00e9t\u00e9 d\u00e9crite par Jacob Cox<\/a> reste donc inchang\u00e9e : \u00ab Chaque laboratoire (et la m\u00eame logique s\u2019applique \u00e9galement aux pays) pr\u00e9f\u00e9rerait une situation o\u00f9 tout le monde ralentirait le rythme de d\u00e9veloppement de l\u2019IA. Mais d\u00e8s qu\u2019il soup\u00e7onne les autres de continuer d\u2019avancer, sa strat\u00e9gie dominante est d\u2019acc\u00e9l\u00e9rer, m\u00eame si cela implique de devenir lui-m\u00eame la menace qu\u2019il cherchait \u00e0 \u00e9viter \u00bb.<\/p>\n\n\n\n

Le texte s’inscrit dans un d\u00e9bat am\u00e9ricain marqu\u00e9 par les d\u00e9clarations du secr\u00e9taire au Tr\u00e9sor Scott Bessent sur la n\u00e9cessit\u00e9 de gagner la course \u00e0 l\u2019IA face \u00e0 la Chine, et alors que Washington et P\u00e9kin pr\u00e9parent une visite tr\u00e8s attendue de Xi Jinping \u00e0 la Maison-Blanche, \u00e0 la fin du mois. Les deux dirigeants avaient convenu, en mai, \u00e0 P\u00e9kin, de lancer un dialogue intergouvernemental sur l’IA, et la question devrait figurer \u00e0 l\u2019ordre du jour d\u2019une prochaine rencontre entre Bessent et le vice-Premier ministre He Lifeng. Selon des sources au fait des discussions, la partie chinoise estime toutefois que la mani\u00e8re dont les \u00c9tats-Unis abordent la question de l\u2019IA vise \u00e0 limiter les effets n\u00e9gatifs de la technologie, mais aussi \u00e0 restreindre la capacit\u00e9 de la Chine \u00e0 d\u00e9velopper ses propres capacit\u00e9s <\/span>1<\/sup><\/a><\/span><\/span>.<\/p>\n\n\n\n

Je travaille sur l’IA depuis douze ans parce que je crois qu’elle pourrait \u00e9lever de fa\u00e7on spectaculaire la qualit\u00e9 de la vie humaine. J’ai souvent \u00e9crit <\/span>2<\/sup><\/a><\/span><\/span> sur ces b\u00e9n\u00e9fices extraordinaires. Je pense que l’IA pourrait gu\u00e9rir la plupart des grandes maladies dans les cinq \u00e0 dix prochaines ann\u00e9es, acc\u00e9l\u00e9rer fortement les taux de croissance \u00e9conomique, cr\u00e9er un monde d’abondance et d’\u00e9mancipation, et ouvrir une renaissance de la d\u00e9mocratie et de la libert\u00e9. Je ressens cette urgence personnellement. Mon propre p\u00e8re est mort d’une maladie qui a \u00e9t\u00e9 gu\u00e9rie quelques ann\u00e9es seulement apr\u00e8s sa disparition, et j’ai moi-m\u00eame surv\u00e9cu \u00e0 un cancer \u00e0 un stade pr\u00e9coce qui n’aurait pas \u00e9t\u00e9 traitable il y a cinquante ans. Mani\u00e9e avec soin, l’IA peut \u00eatre la derni\u00e8re d’une longue lign\u00e9e de miracles technologiques qui ont \u00e9lev\u00e9 et ennobli l’humanit\u00e9.<\/p>\n\n\n\n

Mais comme beaucoup de technologies avant elle, l’IA comporte des risques, et parce qu’elle est si puissante, ces risques sont s\u00e9rieux. J’ai aussi beaucoup \u00e9crit <\/span>3<\/sup><\/a><\/span><\/span> \u00e0 leur sujet. Ils comprennent le risque de perdre le contr\u00f4le des syst\u00e8mes d’IA <\/span>4<\/sup><\/a><\/span><\/span>, le d\u00e9tournement de l’IA \u00e0 des fins de cyberattaques et de bioterrorisme <\/span>5<\/sup><\/a><\/span><\/span>, et de graves perturbations \u00e9conomiques <\/span>6<\/sup><\/a><\/span><\/span>. Une course vers le bas, stimul\u00e9e par les incitations commerciales, peut rendre ces risques plus aigus.<\/p>\n\n\n\n

Avec mes cofondateurs et nos employ\u00e9s, je me d\u00e9bats avec cette dualit\u00e9 entre risque et b\u00e9n\u00e9fice depuis les d\u00e9buts d’Anthropic. Ne pas construire la technologie prive l’humanit\u00e9 de ses b\u00e9n\u00e9fices ou la remet simplement entre les mains de puissances autoritaires, tandis que la construire trop vite est irresponsable. Nous avons cherch\u00e9 une voie m\u00e9diane. Montrer qu’il est possible de construire avec prudence et de r\u00e9ussir commercialement, et faire de la s\u00e9curit\u00e9 un terrain sur lequel les entreprises d’IA se font concurrence. Autrement dit, cr\u00e9er une course vers le haut. Nous avons toujours consacr\u00e9 une part substantielle de nos efforts <\/span>7<\/sup><\/a><\/span><\/span> \u00e0 \u00e9tudier <\/span>8<\/sup><\/a><\/span><\/span>, traiter <\/span>9<\/sup><\/a><\/span><\/span> et informer <\/span>10<\/sup><\/a><\/span><\/span> le public sur ces risques, ainsi qu’\u00e0 plaider pour une r\u00e9gulation r\u00e9fl\u00e9chie <\/span>11<\/sup><\/a><\/span><\/span> de l’IA, m\u00eame lorsque cela nous vaut d’\u00eatre accus\u00e9s de battage m\u00e9diatique, de \u00ab catastrophisme \u00bb ou de capture r\u00e9glementaire. Nous avons tent\u00e9 de faire passer la prudence avant la vitesse et la sagesse avant le profit.<\/p>\n\n\n\n

L’accusation de capture r\u00e9glementaire consiste \u00e0 dire qu’une entreprise r\u00e9clame des r\u00e8gles contraignantes uniquement pour \u00e9riger des barri\u00e8res \u00e0 l’entr\u00e9e contre ses concurrents plus petits.<\/p>\n\n\n\n

Mais au cours des derniers mois, j’ai acquis la conviction que traiter pleinement les risques exige encore davantage de prudence. Non pas seulement investir dans la pr\u00e9vention des risques, mais r\u00e9guler le rythme auquel progressent les capacit\u00e9s afin que la pr\u00e9vention ait le temps de suivre. Nous devons ralentir la cadence \u00e0 laquelle nous am\u00e9liorons les capacit\u00e9s des mod\u00e8les d’IA. Le progr\u00e8s para\u00eetra encore rapide, et nous devrons faire un usage judicieux du temps gagn\u00e9. Deux choses m’ont convaincu.<\/p>\n\n\n\n

Ma premi\u00e8re inqui\u00e9tude tient au fait que, depuis cet \u00e9t\u00e9 environ, l’IA progresse consid\u00e9rablement plus vite, d’abord parce que l’IA est de plus en plus capable de construire la g\u00e9n\u00e9ration suivante d’IA. On appelle cette dynamique l’auto-am\u00e9lioration r\u00e9cursive, et elle commence \u00e0 se produire dans toute l’industrie <\/span>12<\/sup><\/a><\/span><\/span>, y compris chez Anthropic <\/span>13<\/sup><\/a><\/span><\/span>, comme nous et d’autres l’avons d\u00e9crit. Laiss\u00e9e sans contr\u00f4le, elle pourrait d\u00e9passer notre capacit\u00e9 \u00e0 comprendre et \u00e0 ma\u00eetriser ces syst\u00e8mes, et doit donc \u00eatre poursuivie avec la plus grande pr\u00e9caution, si tant est qu’elle doive l’\u00eatre.<\/p>\n\n\n\n

L’auto-am\u00e9lioration r\u00e9cursive d\u00e9signe un processus o\u00f9 l\u2019IA acc\u00e9l\u00e8re sa propre cr\u00e9ation. Amodei d\u00e9crivait d\u00e9j\u00e0 en janvier comment Claude \u00e9crivait d\u00e9j\u00e0 une grande partie du code de l\u2019entreprise, acc\u00e9l\u00e9rant ainsi le d\u00e9veloppement de la prochaine g\u00e9n\u00e9ration. Selon lui, cette boucle de r\u00e9troaction s\u2019intensifie chaque mois. <\/p>\n\n\n\n

Ma seconde inqui\u00e9tude est l’incident OpenAI-Hugging Face (OAI-HF), au cours duquel un essaim d’agents s’est comport\u00e9 comme un collectif fanatiquement d\u00e9vou\u00e9 <\/span>14<\/sup><\/a><\/span><\/span>, menant des attaques informatiques contre des cibles qu’on ne lui avait pas demand\u00e9 d’attaquer et qui n’avaient aucun rapport avec la t\u00e2che en cours, se sacrifiant pour le succ\u00e8s du groupe, et tentant de pirater le \u00ab correcteur \u00bb charg\u00e9 d’\u00e9valuer ses performances. Il est facile de balayer cet incident parce que personne n’a \u00e9t\u00e9 bless\u00e9 et que les d\u00e9g\u00e2ts \u00e9conomiques ont \u00e9t\u00e9 minimes, mais \u00e0 mon avis, un essaim dot\u00e9 de capacit\u00e9s sup\u00e9rieures et d’un niveau de d\u00e9salignement comparable aurait pu causer des d\u00e9g\u00e2ts catastrophiques. Compte tenu du rythme acc\u00e9l\u00e9r\u00e9 du d\u00e9veloppement des capacit\u00e9s de l’IA, je crains que d’ici six \u00e0 douze mois un tel essaim soit capable de prendre le contr\u00f4le de l’ensemble d’Internet au moyen d’un botnet<\/em> persistant (avec potentiellement des centaines de milliards de dollars de d\u00e9g\u00e2ts), et que l’ampleur des dommages continue de cro\u00eetre si l’IA devient plus puissante sans les garde-fous n\u00e9cessaires. Il est aussi facile de balayer OAI-HF comme l’\u00e9chec d’une seule entreprise, mais je crois que ce serait une erreur. Des incidents similaires, bien que moins graves, se sont produits dans toute l’industrie, y compris chez Anthropic <\/span>15<\/sup><\/a><\/span><\/span>, et je crois qu’il incombe \u00e0 chaque entreprise de la fronti\u00e8re d’agir comme si OAI-HF lui \u00e9tait arriv\u00e9.<\/p>\n\n\n\n

La \u00ab fronti\u00e8re \u00bb (Frontier<\/em>) d\u00e9signe, dans le vocabulaire du secteur, les mod\u00e8les d’IA les plus avanc\u00e9s \u00e0 un instant donn\u00e9, et par extension, les entreprises qui les produisent, souvent appel\u00e9es \u00ab laboratoires de fronti\u00e8re \u00bb. Le terme a \u00e9t\u00e9 popularis\u00e9 vers 2023 par les entreprises elles-m\u00eames, et repris par l’administration Biden, puis par les r\u00e9gulateurs britanniques et europ\u00e9ens. Il porte une charge historique forte aux \u00c9tats-Unis. La Fronti\u00e8re est d’abord la ligne mouvante de la colonisation vers l’Ouest, dont l’historien Frederick Jackson Turner a fait en 1893 la clef du caract\u00e8re national am\u00e9ricain, un espace ouvert o\u00f9 se forgent l’individualisme, la d\u00e9mocratie et l’esprit d’entreprise. John F. Kennedy a repris l’image avec sa \u00ab Nouvelle Fronti\u00e8re \u00bb en 1960, pour d\u00e9signer la conqu\u00eate spatiale et le progr\u00e8s scientifique.<\/p>\n\n\n\n

Un agent est un mod\u00e8le d’intelligence artificielle auquel on confie une t\u00e2che et des outils (acc\u00e8s \u00e0 Internet ou pas, \u00e0 des fichiers, etc.), et qui encha\u00eene des actions de fa\u00e7on autonome. Un essaim est un ensemble d’agents qui travaillent de concert. Hugging Face est une plateforme fran\u00e7aise qui h\u00e9berge des mod\u00e8les et des jeux de donn\u00e9es en acc\u00e8s libre, elle a \u00e9t\u00e9 rachet\u00e9e d\u00e9but septembre par Nvidia. Le \u00ab correcteur \u00bb (grader) est le syst\u00e8me automatique qui note les r\u00e9sultats des agents pendant leur entra\u00eenement. Chercher \u00e0 le pirater plut\u00f4t qu’\u00e0 accomplir la t\u00e2che est un cas typique de ce que les chercheurs appellent le \u00ab d\u00e9salignement \u00bb, c’est-\u00e0-dire l’\u00e9cart entre ce que fait le mod\u00e8le et ce que voulaient initialement ses concepteurs. METR est un institut ind\u00e9pendant bas\u00e9 en Californie et sp\u00e9cialis\u00e9 dans l’\u00e9valuation des risques pos\u00e9s par les mod\u00e8les de pointe.<\/p>\n\n\n\n

Je propose donc un plan en trois \u00e9tapes dont l’objectif est de ma\u00eetriser le rythme de la fronti\u00e8re <\/span>16<\/sup><\/a><\/span><\/span>. Construire l’IA \u00e0 une cadence \u00e9quilibr\u00e9e qui vise \u00e0 garantir sa s\u00e9curit\u00e9 tout en r\u00e9coltant ses b\u00e9n\u00e9fices et en affrontant des dilemmes g\u00e9opolitiques majeurs. Pour \u00eatre clair, ma\u00eetriser le rythme ne signifie pas arr\u00eater l’entra\u00eenement des mod\u00e8les ni le progr\u00e8s technique, mais s’assurer que les entreprises prennent le temps n\u00e9cessaire pour aligner et s\u00e9curiser leurs mod\u00e8les, et que des \u00e9valuateurs tiers puissent le confirmer. Notre cadre de r\u00e9gulation du rythme est une tentative de renforcer encore notre engagement envers la s\u00e9curit\u00e9 et d’encourager une course vers le haut. La premi\u00e8re \u00e9tape est un engagement qu’Anthropic prend unilat\u00e9ralement (et nous appelons les gouvernements \u00e0 exiger des autres entreprises de la fronti\u00e8re qu’elles fassent de m\u00eame). La deuxi\u00e8me \u00e9tape requiert une coordination \u00e0 l’\u00e9chelle de l’industrie. La troisi\u00e8me \u00e9tape requiert une coordination mondiale <\/span>17<\/sup><\/a><\/span><\/span>. Les \u00e9tapes n’ont pas besoin d’\u00eatre franchies dans un ordre strict, et certaines pourraient \u00eatre bien plus difficiles \u00e0 atteindre que d’autres, mais je les ai trouv\u00e9es utiles pour penser ce qui doit \u00eatre accompli. Les voici.<\/p>\n\n\n\n

    \n
  1. \u00c9valuateurs int\u00e9gr\u00e9s.<\/strong> Chaque entreprise de la fronti\u00e8re s’engage \u00e0 donner un acc\u00e8s permanent, comparable \u00e0 celui d’un employ\u00e9, \u00e0 une \u00e9quipe d’\u00e9valuateurs tiers int\u00e9gr\u00e9s (comme METR) <\/span>18<\/sup><\/a><\/span><\/span>, dont le r\u00f4le est de v\u00e9rifier le respect des pratiques et des engagements de s\u00e9curit\u00e9, de signaler les incidents, et d’aider \u00e0 \u00e9valuer l’alignement non seulement des mod\u00e8les achev\u00e9s mais aussi des cha\u00eenes et des processus d’entra\u00eenement. C’est l’\u00e9tape clef pour rendre v\u00e9rifiable tout engagement sur le rythme, et elle a un pr\u00e9c\u00e9dent dans le secteur bancaire, o\u00f9 des \u00ab superviseurs \u00bb r\u00e9glementaires sont parfois install\u00e9s aux c\u00f4t\u00e9s des employ\u00e9s. Anthropic s’engage unilat\u00e9ralement \u00e0 franchir cette \u00e9tape d\u00e8s maintenant. Nous voulons qu’elle s’inscrive dans un effort plus large pour redoubler nos travaux de s\u00e9curit\u00e9 et d’alignement.<\/li>\n\n\n\n
  2. Coordination d\u00e9mocratique.<\/strong> Les entreprises de la fronti\u00e8re situ\u00e9es dans des pays d\u00e9mocratiques se coordonnent pour \u00e9tablir des normes de s\u00e9curit\u00e9 communes ainsi que des limites au rythme du progr\u00e8s non contr\u00f4l\u00e9 de l’IA. Certaines formes de coordination utiles \u00e0 la r\u00e9gulation du rythme sont juridiquement d\u00e9licates et n\u00e9cessiteront le soutien des gouvernements.<\/li>\n\n\n\n
  3. Coordination mondiale.<\/strong> Les \u00c9tats-Unis et les autres gouvernements d\u00e9mocratiques tentent de se coordonner avec les gouvernements autoritaires, dans la mesure du possible, tout en prenant au s\u00e9rieux les difficult\u00e9s de v\u00e9rification du respect des engagements.<\/li>\n<\/ol>\n\n\n\n

    Dans la suite de cet essai, je d\u00e9crirai chacune de ces \u00e9tapes tour \u00e0 tour, mais je pense qu’il est d’abord important d’expliquer pr\u00e9cis\u00e9ment en quoi la r\u00e9gulation du rythme permettra de rendre le d\u00e9veloppement de l’IA plus s\u00fbr. Les enjeux sont trop \u00e9lev\u00e9s pour que ce soit un exercice creux. Nous devons utiliser sagement le temps qu’elle nous est donn\u00e9.<\/p>\n\n\n\n

    Pourquoi r\u00e9guler le rythme ?<\/h2>\n\n\n\n

    L’id\u00e9e de mettre en pause ou de ralentir l’IA a \u00e9t\u00e9 avanc\u00e9e d\u00e8s 2023 <\/span>19<\/sup><\/a><\/span><\/span>, et je pense qu’elle n’avait alors gu\u00e8re de sens. La question a toujours \u00e9t\u00e9 la suivante. Que ferait-on du temps suppl\u00e9mentaire ? Les mod\u00e8les de cette \u00e9poque n’\u00e9taient pas assez puissants pour agir comme des agents dans le monde de fa\u00e7on coh\u00e9rente, et n’\u00e9taient pas capables de tromperie, de manipulation, de triche ou de cyberattaques significatives. Ralentir pour traiter leurs risques d’alignement revenait \u00e0 vouloir \u00e9tudier la psychologie humaine en faisant des exp\u00e9riences sur des bact\u00e9ries. Aujourd’hui, le tableau est tout autre. Les mod\u00e8les actuels sont une mine presque in\u00e9puisable d’enseignements sur la fa\u00e7on de bien construire l’IA et sur ce qui peut mal tourner quand elle est mal construite. Je crois que si le ralentissement nous achetait ne serait-ce qu’une ou deux ann\u00e9es avant que les mod\u00e8les n’atteignent des niveaux critiques de capacit\u00e9, et si nous utilisions ce temps pour faire progresser l’alignement, nous pourrions r\u00e9duire fortement le risque que quelque chose tourne gravement mal. Une strat\u00e9gie coordonn\u00e9e de r\u00e9gulation du rythme donnerait aux d\u00e9veloppeurs de la fronti\u00e8re le temps de faire ce travail vital sans sacrifier leur avantage commercial ni l’avance des \u00c9tats-Unis en IA. Plus g\u00e9n\u00e9ralement, la soci\u00e9t\u00e9 doit avoir son mot \u00e0 dire sur l’usage de cette technologie, et davantage de temps pour les d\u00e9lib\u00e9rations publiques n\u00e9cessaires, ce que la r\u00e9gulation du rythme apporterait, est assur\u00e9ment une bonne chose.<\/p>\n\n\n\n

    En mars 2023, le Future of Life Institute avait publi\u00e9 une lettre ouverte, sign\u00e9e notamment par Elon Musk, dans laquelle il lan\u00e7ait un appel \u00e0 une pause de six mois dans l’entra\u00eenement des syst\u00e8mes plus puissants que GPT-4. Cette initiative n’avait eu aucun effet. L’alignement d\u00e9signe l’ensemble des techniques visant \u00e0 faire en sorte qu’un mod\u00e8le poursuive effectivement les objectifs et respecte les valeurs souhait\u00e9s par ses concepteurs.<\/p>\n\n\n\n

    Concr\u00e8tement, un rythme plus lent permettrait aux entreprises de se concentrer et de consacrer encore plus de ressources aux domaines suivants (qui sont tous d\u00e9j\u00e0 des priorit\u00e9s majeures chez Anthropic).<\/p>\n\n\n\n