« Pour survivre, nous devons nous coordonner pour ralentir la course »

Des lettres ouvertes sur les risques de l’IA, il y en a eu beaucoup. Celle qui est parue dans la nuit avec le titre Pacing the Frontier — en français : réguler le rythme du front technologique — est inédite sur trois points ¹.

Son origine, d’abord. Bien qu’adossée à deux ONG (Guidelight AI Standards et Encode AI), l’impulsion principale  n’est pas venue d’universitaires extérieurs, mais de l’intérieur des laboratoires de pointe (OpenAI, Anthropic, Google DeepMind) qui ont ensuite élargi la collecte de signatures. L’adhésion n’est par ailleurs pas restée individuelle : dans les heures suivant la publication, OpenAI et Anthropic ont repris le texte en tant qu’entreprises.

Sa composition, ensuite. Parmi les 1 178 signataires (au 28 juillet), on ne trouve pas seulement des chercheurs spécialistes en IA Safety et qui jouent déjà, au sein même des grandes entreprises, un rôle plus critique, mais aussi ceux dont le travail quotidien consiste précisément à accélérer : les directeurs scientifiques d’OpenAI, de Meta AI et de Thinking Machines, trois cofondateurs d’Anthropic, et son PDG.

Sa motivation, enfin. Depuis décembre-janvier, les grands laboratoires ont fortement automatisé la recherche en intelligence artificielle et le cycle de développement des modèles. Désormais chaque génération contribue à concevoir la suivante : c’est ce qu’on appelle la dynamique d’auto-amélioration récursive (Recursive Self-Improvement, ou RSI). Le rythme du progrès cesse d’être limité par le temps humain, et cette accélération referme la fenêtre pendant laquelle des institutions peuvent observer, évaluer et décider d’intervenir.

Jason Wolfe, qui travaille sur l’alignement chez OpenAI, rappelle que de nombreux experts jugent une « explosion d’intelligence » plausible d’ici deux ans ². Cette inquiétude n’est pas l’apanage d’individus isolés. Le mois dernier, Anthropic a publié un rapport sur l’auto-amélioration récursive dans lequel l’entreprise estime que des systèmes pourraient concevoir et affiner leurs propres successeurs et conclut qu’il serait important que le monde dispose de la possibilité de ralentir ou de suspendre temporairement le développement de pointe ³. La pétition est la traduction politique de cette recherche.

Leo Gao, chercheur chez OpenAI, le formule plus crûment dans le commentaire joint à sa signature : « Le monde est pris dans une course mortelle vers une explosion de l’intelligence, où la capacité de l’IA à créer des IA toujours plus performantes atteint un point critique, comme une réaction nucléaire en chaîne incontrôlable. Comme aucun acteur n’est disposé à s’arrêter seul, nous devons coordonner nos efforts pour ralentir cette course afin de survivre. » ⁴

L’IA pourrait contribuer à créer un avenir radicalement meilleur, mais ce résultat n’est pas garanti. Les principales entreprises mondiales spécialisées dans l’IA estiment qu’elles pourraient être sur le point d’automatiser la recherche. Il est difficile de prédire avec exactitude dans quelle mesure cela accélérera les progrès de l’IA, mais il existe un risque réel que le développement de ces capacités s’accélère rapidement, au-delà de notre capacité à comprendre ou à contrôler les systèmes qui en résulteront.

Le CEO d’OpenAI Sam Altman a annoncé avoir mis en pause l’entraînement du modèle à l’origine du hacking de Hugging Face, le temps de sécuriser les sandbox — ces environnements d’exécution isolés dans lesquels un système d’IA peut lancer du code et agir, avec un accès au réseau délibérément restreint. Pour mémoire : le 21 juillet, OpenAI a révélé que GPT-5.6 Sol et un modèle non publié se sont échappés seuls d’un environnement d’évaluation, ont gagné l’Internet ouvert et compromis la production de Hugging Face pour voler le corrigé du benchmark ExploitGym. Garde-fous cyber volontairement abaissés, faille zero-day dans un proxy de registre de paquets, escalade de privilèges. Hugging Face avait détecté et stoppé l’intrusion de son côté, sans savoir qui l’avait lancée. Un laboratoire peut donc encore appuyer sur le frein, ponctuellement, chez lui. La pétition pose la question suivante : qui peut le faire à l’échelle de toute l’industrie, et selon quelle procédure ?

Pour que l’IA tienne ses promesses, les entreprises, les États et la société tout entière devront peut-être pouvoir se donner du temps : le temps de faire face aux risques qui émergent, de bâtir des garde-fous, de renforcer les contrôles. Or la concurrence est telle qu’aucune entreprise — ni aucun pays — ne peut se permettre de lever le pied seul.

Le texte sort le lendemain de l’annonce, par NVIDIA, de l’Open Secure AI Alliance, à laquelle ne participent ni OpenAI, ni Anthropic, ni Google DeepMind. Certains acteurs, comme Thinking Machines, figurent dans les deux initiatives. L’alliance NVIDIA parie sur l’open source et l’ouverture comme mécanismes de sécurité, Dario Amodei conteste frontalement cette lecture dans sa position sur les modèles à poids ouverts ⁵. Deux camps, donc, qui ne divergent pas sur l’existence du risque mais sur l’outil pour le traiter. 

Et nous n’avons aujourd’hui, à l’échelle mondiale, ni les outils techniques ni les cadres de gouvernance qui permettraient de fixer sciemment l’allure à laquelle avance l’ensemble du front de la recherche.

Dans le prolongement des efforts déjà engagés pour suivre la publication des modèles les plus avancés :

Nous demandons au gouvernement des États-Unis de soutenir une initiative internationale visant à créer les outils techniques et de gouvernance qui permettront de fixer sciemment l’allure du développement automatisé de l’IA.

L’administration américaine soutient qu’une gouvernance internationale handicaperait les États-Unis face à la Chine. David Sachs, le « czar IA » de Donald Trump, a récemment accusé Anthropic de « capture réglementaire fondée sur la peur ». Au Congrès, Ted Lieu a aussitôt rattaché le texte à son projet de loi bipartite sur un interrupteur d’urgence. La comparaison avec la lettre « Pause IA » de 2023 permet de comprendre ce revirement. Émanant surtout de chercheurs en sécurité extérieurs aux grands laboratoires, elle n’avait été signée par aucun dirigeant d’OpenAI, d’Anthropic ou de Google DeepMind (Elon Musk l’avait signée, quatre mois avant de fonder xAI), mais comptait des signataires chinois de premier plan, comme Ya-Qin Zhang (ex-Baidu, Tsinghua) ou le prix Turing Andrew Yao. La configuration s’est donc inversée : le centre de gravité est passé de l’extérieur à l’intérieur des laboratoires, et la dimension internationale s’est appauvrie. Sur le fond, la demande est également plus modeste, ce qui la rend peut-être plus acceptable : il ne s’agit pas de ralentir, mais de se doter de la possibilité de le faire, une option qui pourrait être activée le jour où quelqu’un estimerait que c’est nécessaire.

– 1 178 employés d’entreprises de pointe dans le domaine de l’IA

Ce chiffre est encore susceptible d’évoluer, car le formulaire est toujours ouvert. La signature doit être validée par une adresse e-mail professionnelle ou une preuve d’emploi. La densité hiérarchique est inhabituelle : un PDG, trois cofondateurs d’Anthropic, les directeurs scientifiques d’OpenAI, de Meta AI et de Thinking Machines ainsi que la responsable de la sûreté de l’IA chez Google. Le texte a été publié par des employés de ces entreprises, avec le soutien logistique de deux ONG : Guidelight AI Standards et Encode AI.

Plus notable encore : dans les heures suivant la publication, OpenAI et Anthropic ont endossé le texte en tant qu’entreprises. OpenAI a écrit qu’à un certain stade, l’accélération pourrait devenir telle que le monde devra en réguler le rythme. Ce n’est donc pas une fronde interne, mais une position portée conjointement par les salariés et leurs directions.

La veille, Dario Amodei, signataire du texte, publiait une lettre dans laquelle il réitérait la nécessité d’utiliser l’IA pour renforcer les démocraties face à la Chine et aux puissances autoritaires. Or, il semblerait que les laboratoires chinois n’aient pas eu l’occasion de signer. Cette contradiction est difficile à contourner : un contrôle du rythme qui ne serait pas mondial ne contrôlerait rien du tout, et il supposerait donc un accord de la part de Pékin. Un accord que la Chine pourrait, par ailleurs, utiliser pour combler son retard dans la production de puces.