Les Nations unies face aux puissances de l’intelligence artificielle

Le 23 septembre 2026, le Conseil de sécurité des Nations unies s’est réuni, à la demande de la France, pour examiner de manière inédite les implications de l’intelligence artificielle sur la paix et la sécurité internationales.

Pourquoi cette réunion ? Parce que des accidents particulièrement graves, impliquant des modèles développés par les entreprises OpenAI et Anthropic, se sont produits à l’été 2026, alors même que ces entreprises s’étaient engagées à mieux sécuriser leurs modèles.

Le premier accident s’est déroulé du 9 au 13 juillet 2026. Des modèles d’OpenAI ont contourné les protections censées les isoler d’Internet et ont pénétré la plateforme de partage franco-américaine Hugging Face pour y dérober les « corrigés » de l’exercice qu’ils avaient à résoudre. 

La deuxième série d’accidents concernait Anthropic. Plusieurs versions de son modèle Claude se sont introduites sans autorisation dans l’infrastructure d’une entreprise et ont tenté d’émettre un code malveillant en créant de fausses identités. Elles étaient pourtant censées ne pas avoir accès à Internet.

Ces incidents montrent que des modèles d’intelligence artificielle peuvent agir en dehors du cadre prévu par leurs concepteurs : ils constituent alors une menace bien réelle. La France, membre permanent du Conseil de sécurité des Nations unies – et qui en assurait alors la présidence – a estimé que le risque était suffisamment grave pour que le Conseil s’en saisisse. Et encore, nous ne mentionnons ici que les faits sur lesquels nous avons été alertés. Nous serions naïfs de penser que nous sommes au courant de l’intégralité des incidents.

C’est la raison pour laquelle j’ai décidé de convoquer les dirigeants d’OpenAI et d’Anthropic, Sam Altman et Dario Amodei, ainsi que Clément Delangue, le dirigeant de Hugging Face, et le professeur Yoshua Bengio, coprésident du Groupe scientifique international indépendant sur l’IA, dont vous pourrez lire les interventions.

Cette réunion du Conseil de sécurité des Nations unies était inédite à plusieurs titres. D’abord, parce qu’elle a porté la question de l’intelligence artificielle au plus haut niveau international. J’avais en effet tenu à ce qu’il s’agisse d’une réunion formelle du Conseil de sécurité, l’instance à laquelle incombe la responsabilité principale du maintien de la paix et de la sécurité internationales. 

Cette réunion était également inédite dans sa forme, parce qu’autour de la table se trouvaient des dirigeants des plus grandes entreprises développant des modèles d’IA de frontière. Ils ont une responsabilité directe dans la conception de ces modèles : leur dialogue avec les États membres du Conseil de sécurité était donc indispensable.

Mais leur présence et leur appel à une coopération internationale ne doivent pas nous conduire à la naïveté. Nous sommes parfaitement lucides sur les intentions des géants de la tech.

En 2023, à Bletchley Park, un premier sommet international consacré à la sécurité de l’IA avait ouvert le débat. Le risque d’une « extinction de l’humanité » avait été brandi et certains acteurs plaidaient pour des modèles fermés, au nom de la sécurité. Cela cachait en réalité une volonté de conforter leur position dominante. La France s’y était opposée et avait défendu avec succès les modèles open source. 

L’approche que nous défendons est celle d’une intelligence artificielle ouverte, au service de l’intérêt général. C’est cet esprit qui a inspiré la déclaration du Sommet pour l’action sur l’IA, organisé à Paris en 2025 par le Président de la République Emmanuel Macron et le Premier ministre indien Narendra Modi. Elle promeut sans ambiguïté une intelligence artificielle ouverte à tous, inclusive et transparente.

Si les acteurs de l’IA demandent aujourd’hui davantage de régulation, c’est aussi parce que celle-ci peut servir leurs propres intérêts. Certains y voient un moyen de consolider leur monopole, de sécuriser leurs gains et de partager la responsabilité liée aux risques de perte de contrôle de leurs modèles. Nous devons donc entendre l’appel de ces entreprises sans perdre de vue les intérêts économiques qui les guident. Ces intérêts sont aussi ceux de leurs actionnaires, comme nous le rappelle la future introduction en bourse d’Anthropic.

Aujourd’hui, nous comprenons mieux une partie des risques liés à l’intelligence artificielle. Il y a d’abord les risques de mésusage : l’utilisation délibérée de l’IA à des fins malveillantes. Il y a ensuite les risques de désalignement et de perte de contrôle, lorsque des systèmes adoptent des comportements qui s’écartent des objectifs fixés par leurs concepteurs. Les accidents de l’été 2026 montrent que ces questions ne relèvent plus de la fiction. 

La réunion du Conseil de sécurité du 23 septembre marque la première étape d’un effort international de régulation qui prendra du temps, mais qui est irréversible. Des propositions ont été formulées pour avancer sur les quatre briques qui doivent structurer l’architecture de la sécurisation de l’IA : l’évaluation, le contrôle interne et externe, la remontée des incidents, le régime de responsabilité. Elles seront essentielles pour l’avenir et nous continuerons dans les semaines et les mois qui viennent à associer États, scientifiques et entreprises à nos travaux pour parvenir à des engagements concrets.

Plus de dix années se sont écoulées entre la première initiative aux Nations unies sur la non-prolifération nucléaire et la signature du Traité de non-prolifération, en 1968. Dix-sept ans ont séparé la création d’un groupe de travail sur les armes chimiques et la naissance de l’Organisation pour l’interdiction des armes chimiques, en 1997. De la même manière, encadrer l’intelligence artificielle prendra du temps. Il ne pourra toutefois pas se compter en années compte tenu de l’exponentialité de la vitesse d’évolution des modèles de frontière, mais cet effort est lancé et il est désormais irréversible. 

Yoshua BengioMonsieur le Président, Excellences, je remercie la France d’avoir convoqué cette séance.

Je m’adresse à vous aujourd’hui, dans une période d’éveil international. Ces derniers mois, les agents IA élaborés par les principales entreprises ont agi d’une manière inacceptable, dangereuse, à l’encontre de leurs instructions. 

Ils ont accompli des actes qui constitueraient des crimes s’ils étaient commis par des êtres humains. Ils se sont échappés de leur confinement individuel pour tricher dans les tâches qui leur étaient assignées en essayant d’échapper à la détection. Ces agents IA non contrôlés ont lancé de manière autonome des cyberattaques coordonnées et ont modifié leurs réponses pour cacher le fait qu’ils trichaient.
Les entreprises qui construisent les systèmes d’IA les plus puissants admettent que leurs produits représentent des risques catastrophiques, mais ne proposent aucune solution technique convaincante. 

Au contraire, elles disent qu’elles sont engagées dans une course pour rendre ces IA encore plus puissantes, ce qui aggrave encore ces risques. 

Le Conseil est confronté à une menace inédite, une menace qu’aucun de ses membres n’aurait choisie, qu’aucun ne peut contenir seul et qui ne respecte pas les frontières que nous défendons.

Beaucoup sont sceptiques par rapport aux déclarations de ces entreprises et se demandent s’il ne s’agit pas d’une stratégie marketing. Je comprends leur méfiance, mais je voudrais être clair. Ces comportements d’IA sont bien établis et validés par de nombreux experts indépendants, pas seulement s’agissant des événements de cet été. Les dangers sont réels et imminents. Bien que l’avenir reste incertain et fasse l’objet de débats, la gravité de ces risques est exceptionnelle.

Les citoyens et les gouvernements ne doivent pas accepter les affirmations de ces entreprises selon lesquelles elles sont prises au piège d’une course. Cette course n’est pas une loi de la nature, c’est le résultat de choix, des choix faits par ces entreprises elles-mêmes. C’est également une course dans laquelle tout le monde est perdant. 

ls nous ont dit qu’ils ralentiraient s’ils le pouvaient. Ils peuvent le faire.

Mais nous ne devrions pas compter dessus.

Les décisions concernant cette technologie sont prises par un petit groupe dans une poignée de pays. Notre futur, à nous tous, notre futur est en jeu. Les décisions qui nous concernent tous devraient être prises par nous tous. Nous avons toujours le choix, mais nous devons agir maintenant pour corriger la trajectoire.

Je suis encouragé par les déclarations de cette semaine du Secrétaire général des Nations unies et de dirigeants de nombreux pays qui appellent au contrôle de l’IA de pointe. La coopération internationale, voilà ce dont le monde a besoin face à trois menaces mondiales provenant des progrès dans ces modèles de pointe. Premièrement, une mauvaise utilisation catastrophique, par exemple de la part de terroristes. Deuxièmement, la concentration du pouvoir. Et troisièmement, la perte de contrôle sur l’intelligence artificielle.

Nous devons collectivement convenir que personne, aucune entreprise, aucun pays ne devrait élaborer un système d’IA qui pourrait provoquer des dommages à grande échelle. Les développeurs doivent démontrer aux experts indépendants qu’un système est sûr à entraîner et à déployer. Ils doivent surveiller et signaler tous les incidents de sécurité.

L’IA de pointe devrait faire l’objet de licences comme les autres technologies critiques dans la médecine, l’aviation ou l’énergie nucléaire, pour encourager un développement sûr. Comme dans ces domaines, il faut exiger une assurance responsabilité civile. Les entreprises qui développent et qui hébergent les systèmes de pointe doivent prouver au public que leurs produits ne seront pas dangereux.

De plus en plus de personnes sont préoccupées à juste titre face aux récents progrès en matière d’IA. Nous devons transformer ces préoccupations en actions productives. Tout comme avec d’autres technologies qui ont le pouvoir de changer le monde, nous pouvons en façonner l’issue. Je suis certain que nous pouvons créer une IA qui pourra démontrer qu’elle reste sous notre contrôle et qui soit au service de la joie et des entreprises humaines. J’œuvre à cet objectif. C’est une mission urgente pour l’humanité.

Aujourd’hui, un tout petit nombre d’entreprises et de pays agissent au nom de leurs intérêts égoïstes en prenant des risques irresponsables concernant le destin de l’humanité. C’est alarmant, oui, mais ce n’est pas inévitable. Il y a des manières d’y remédier.

Premièrement, il faut avoir une véritable indépendance scientifique par rapport à ces entreprises qui doivent rendre des comptes. Cela inclut des définitions communes des incidents liés à l’IA et un mécanisme de signalement commun. Deuxièmement, nous devons passer de la concentration du pouvoir à un véritable dialogue mondial sur la manière dont cette technologie est développée pour le bien public. Troisièmement, nous devons œuvrer ensemble à des solutions techniques qui rendent l’IA sûre dès la conception, ce qui doit être garanti par des accords internationaux.

Je sais que la confiance au sein de ce Conseil est fragile, mais je sais également ceci : cette course au développement menace chaque pays. Souvent, pour décrire notre situation, je parle d’une voiture qui fonce à toute allure dans un brouillard épais. À côté de moi, dans cette voiture, il y a mes enfants et mon petit-fils. Je m’inquiète pour eux. Je m’inquiète pour leur avenir. Je suis exactement comme n’importe quel autre parent ou grand-parent.

Une mère à Shanghai veut que ses fils grandissent dans un monde où l’IA améliore leur vie, et non dans un monde où elle la menace. Un père à Chicago veut que ses filles s’épanouissent grâce à l’IA, pas qu’elles en souffrent. Nos espoirs, nos préoccupations sont les mêmes dans chaque pays.

L’humanité a fait preuve de courage et de sagesse pour gérer des risques catastrophiques par le passé. Nous sommes face à l’un de ces moments. C’est bien plus important que tout intérêt personnel, commercial ou national. Je vous remercie.

Sam AltmanMerci, Monsieur le Président, Excellences. C’est un honneur pour moi d’être ici et de pouvoir vous parler à vous tous en ce moment si important. Nous parlons d’intelligence artificielle depuis des années, mais ces dernières semaines, ces derniers mois, les choses paraissent différentes : les progrès rapides des modèles ont resserré le calendrier, les bénéfices sont plus tangibles, mais les risques sont plus immédiats, les enjeux également.

Nous avons un choix. L’IA peut être soit comme une nouvelle renaissance de créativité ou de découverte, soit comme une nouvelle révolution industrielle de troubles, de perturbations. À la Renaissance, de nouveaux outils, de nouvelles idées et de nouvelles institutions ont élargi ce que les personnes pensaient possible. L’IA peut jouer ce rôle à notre époque.

Je pense que les gens sont bien plus capables qu’ils ne pensent l’être, mais ils ont été retenus par des technologies limitées qui devaient leur donner du pouvoir, mais qui en fait souvent détournent leur attention, volent leur temps. La meilleure version de l’IA, ce n’est pas de transformer les gens en rouages d’une machine, ou d’optimiser chaque aspect de la vie jusqu’à ce que l’humain disparaisse. Il s’agit de rendre les personnes davantage capables d’agir dans un monde toujours plus complexe. Plus de capacités pour apprendre, créer, découvrir, construire, participer. Il y a de nombreuses choses que l’IA ne peut pas automatiser et ne doit pas automatiser. L’IA doit être construite pour les gens, pas simplement pour faire tourner plus vite la manivelle des machines pour le simple plaisir de le faire.

Certaines des choses que les constructeurs de l’IA ont dites sont tellement dystopiques qu’on dirait le scénario d’un mauvais film de science-fiction. Toute chose qui est puissante est également intimidante. Cette période est compliquée car nous voyons qu’il y a un immense potentiel, mais nous sommes aussi très anxieux.

Ces modèles peuvent aider les personnes à découvrir de nouvelles connaissances, de nouveaux médicaments, de meilleurs soins, une meilleure éducation, et à construire des économies plus productives. Ils peuvent être de nouveaux outils pour poursuivre des rêves et des ambitions qui nous paraissent hors de portée aujourd’hui. La complexité de la vie a tellement augmenté pour la personne moyenne. L’IA peut être un outil défensif contre cette complexité, autant qu’elle peut être un outil de découverte et d’innovation sans précédent.

Mais d’un autre côté, à mesure que les systèmes d’IA deviennent plus performants et plus autonomes, ils peuvent aller plus vite que nos institutions, concentrer le pouvoir dans trop peu de mains ou prendre des décisions que les personnes ne comprennent plus ou ne contrôlent plus. Cette préoccupation devient particulièrement importante alors que nous nous approchons de systèmes qui peuvent s’auto-améliorer et améliorer de futures versions d’eux-mêmes, ce qu’on appelle souvent l’auto-amélioration récursive. À mesure que le processus de construction de l’IA devient plus automatisé, le rythme des progrès de l’IA pourrait s’accélérer rapidement. Ce moment exige une extrême prudence.

Je suis largement d’accord avec ce que dit le professeur Bengio, mais j’en compte deux plutôt que trois : il y a deux manières dont les progrès de l’IA peuvent mal tourner et que nous devons éviter. Premièrement, nous pourrions perdre le contrôle de l’avenir au profit de l’IA. Le risque, c’est que l’IA évolue si rapidement que les personnes ne puissent plus suivre ce qui se passe ni intervenir quand c’est nécessaire. Clairement, ce serait horrible.

Le secteur ne doit pas accepter trop de risques technologiques, simplement parce que les avantages sont immenses et qu’ils se croient trop importants pour ralentir. Battre des concurrents n’est pas un prétexte pour prendre des décisions irresponsables. Nous avons ralenti de manière unilatérale par le passé, nous le ferons également à l’avenir. Il faut absolument que tout le monde évite de construire des systèmes dont on ne peut pas garantir l’alignement, la surveillance et les garanties de sécurité auxquelles nous devons veiller. Il faut comprendre ce que font les systèmes et avoir des preuves solides qu’ils feront ce que les gens ont l’intention de faire, même s’ils deviennent très intelligents, en fait, surtout quand ils deviendront très intelligents.

Peu importe si les personnes considèrent que le risque de catastrophe est de 10 %, 1 %, 12 % ou 0,1 %. Aucun de ces niveaux n’est acceptable. Nous ne devrions pas entraîner des modèles dont nous ne pouvons pas prouver qu’ils pourront rester sous contrôle humain. Donc voilà une manière dont les choses pourraient mal tourner.

Or, par ailleurs, ces systèmes pourraient concentrer trop de pouvoir dans trop peu de mains. Aucune personne, aucune entreprise, aucun pays ne devrait pouvoir utiliser les modèles d’IA les plus puissants pour imposer sa vision du monde aux autres. Une entreprise ou un pays qui croit être le seul digne de confiance avec cette technologie peut utiliser cette conviction pour justifier pratiquement tout. Nous devons rejeter cette logique, même quand c’est pratique pour tel ou tel acteur.

Je pense qu’il y a une voie pragmatique qui tienne compte de ces deux aspects. Chez OpenAI, nous abordons ces questions avec un objectif clair. L’IA doit donner davantage de pouvoir aux personnes sur leur vie, pour vivre leur vie comme elles le veulent. Plus de capacités pour régler les problèmes – petits ou grands –, et pour améliorer leurs communautés. Nous ne voulons pas tomber dans le piège de l’optimisme béat, mais pas non plus dans le catastrophisme. Se laisser entraîner vers l’un ou l’autre de ces extrêmes ne nous aidera pas à relever avec succès les défis qui se présentent à nous, surtout à un moment où le monde et la population sont confrontés à d’immenses défis que ces technologies pourraient aider à régler. Donc, nous essayons de trouver une voie médiane entre ces deux extrêmes.

Pour nous, cela signifie trois principes. Premièrement, à mesure que l’IA devient plus performante, les personnes doivent rester au cœur de la prise de décision sur l’IA. L’alignement n’est pas une question de recherche abstraite. Il s’agit de faire en sorte que ces systèmes restent sous contrôle humain, reflètent les valeurs humaines et aident les personnes à orienter la prochaine étape du développement. Nous n’essayons pas, nous ne devons pas automatiser le jugement humain et les valeurs humaines.

Deuxièmement, les avantages des progrès scientifiques et de la croissance économique doivent être par les gens et pour les gens. L’IA doit aider les chercheurs à faire des découvertes, les médecins à soigner, les enseignants à enseigner, les entrepreneurs à créer une entreprise. Les communautés résolvent des problèmes qui semblaient insurmontables, et bien plus encore. L’histoire du progrès humain, ce n’est pas que les outils remplacent les humains, c’est que les bons outils rendent les personnes plus capables d’agir. Et je pense que cela ira bien plus loin que nous ne le pensons possible.

Troisièmement, cette technologie doit donner du pouvoir aux individus. L’avenir sera radieux si les personnes réalisent leur potentiel et créent de la valeur pour elles-mêmes, leur communauté, leur pays et le monde. Nous sommes peut-être l’un des constructeurs de cette technologie, mais nous ne sommes pas les héros de cette histoire. Notre rôle, c’est de permettre aux gens du monde entier d’agir, et d’avoir confiance dans la magie des compétences et des facultés de l’humanité.

Nous avons maintenant des modèles qui sont capables de découvrir des connaissances dont nous ne disposions pas auparavant. Prenons les progrès dans les mathématiques. Il y a trois étés, nos modèles étaient corrects en maths de niveau primaire. Il y a deux étés, ils étaient assez bons aux compétitions de maths du lycée. L’été dernier, nous avons eu une médaille d’or dans la compétition mathématique la plus prestigieuse. Et, il y a quelques semaines, cet été, notre modèle a résolu l’un des problèmes du prix du millénaire, les équations de Navier-Stokes. Ces équations sont utilisées notamment pour la conception d’avions, les prévisions météorologiques et l’étude de la circulation sanguine. Nous ne résolvons pas des problèmes mathématiques pour eux-mêmes, mais pour permettre aux gens de découvrir de nouvelles connaissances et pour les utiliser afin d’améliorer les soins de santé, améliorer le niveau de vie et renforcer le potentiel de chacun de par le monde. Il reste tant à découvrir.

Mais il est très important que les entreprises ne remplacent pas le processus démocratique. Pour que l’IA soit démocratique, les décisions les plus importantes ne doivent pas être prises seulement par les laboratoires de San Francisco. Elles doivent être définies par les processus démocratiques et par des gouvernements responsables devant la population qu’ils servent.

Au niveau international, il faudra de la coopération. Dans notre histoire, il y a eu des moments où les pays en concurrence, et qui ne s’apprécient pas toujours beaucoup, sont malgré tout parvenus à se mettre d’accord pour défendre leurs intérêts communs et le bien collectif face à une nouvelle technologie très puissante. C’est ce qu’il faut faire maintenant.

Il nous faut un mécanisme pour des normes d’IA de pointe, nationales et internationales. Des normes pour mesurer les capacités, évaluer les risques, savoir si les garde-fous sont suffisants et préserver un véritable contrôle humain à mesure que les systèmes deviennent plus autonomes. Il nous faut des normes communes afin que les pays puissent comparer leurs données, vérifier le respect des règles et avoir la même définition de ce qui se passe. Il nous faut des protocoles rapides et précis de classification et de signalement des incidents, afin que le monde puisse apprendre des échecs avant qu’ils ne se transforment en catastrophes. Il nous faut des canaux sécurisés entre les gouvernements, les opérateurs d’infrastructures critiques et les experts techniques pour communiquer sur les vulnérabilités émergentes et les nouvelles menaces.

Bien sûr, ces normes ne devraient pas favoriser les acteurs en place ou privilégier tel ou tel modèle. Elles doivent soutenir les développeurs de modèles ouverts comme fermés, les nouveaux entrants comme les laboratoires établis, l’autorité nationale comme la coopération internationale. Chaque gouvernement doit décider comment intégrer les normes dans son système juridique. Mais nous gagnerions à nous mettre d’accord sur ce que sont la bonne gouvernance et les bons garde-fous à l’échelle internationale.

Nous n’avons pas toutes les réponses. Nous sommes ouverts à toutes les meilleures idées et nous sommes prêts à travailler avec vous tous pour faire de notre mieux pour tracer le cap pour l’avenir.

Nous sommes à la croisée des chemins. Une voie mène vers un monde où le pouvoir est concentré, les décisions sont opaques et où les personnes ont l’impression que la technologie la plus importante de leur vie, c’est quelque chose qu’on leur impose. L’autre voie mène à un monde où l’IA travaille pour la population, parce que ce sont les gens, grâce aux institutions démocratiques, qui aident à décider comment l’IA doit être développée, où le progrès scientifique améliore la vie dans le monde réel, où davantage de personnes peuvent participer à l’avenir, où cette technologie continue à donner aux individus et aux communautés davantage de pouvoir pour vivre leur vie comme ils le veulent. C’est un avenir fait de potentiel réalisé, d’enthousiasme et d’émerveillement. Et c’est l’avenir qui, selon nous, mérite d’être construit. Merci beaucoup.

Dario AmodeiBonjour. Permettez-moi de remercier la France d’avoir organisé cette réunion, ainsi que les membres du Conseil de m’avoir invité à m’exprimer.

L’IA progresse très rapidement. Il y a quatre ans, elle pouvait difficilement écrire une ligne de code ou résoudre un problème de maths du lycée. Aujourd’hui, elle écrit la majeure partie du code d’Anthropic et résout des problèmes de maths célèbres restés sans solution. Il suffit que cette trajectoire se poursuive encore un tout petit peu plus longtemps, dans un ou deux ans, peut-être moins, pour parvenir à ce que j’appelle un « pays de génies dans un centre de données ». Ce rythme rapide de progrès produira des avantages remarquables pour le monde entier.

Rien qu’aujourd’hui, Anthropic a annoncé la découverte, menée par Claude, d’une nouvelle machine moléculaire. C’est une conclusion préliminaire, mais qui pourrait représenter un nouveau mécanisme d’édition génétique qui pourrait avoir des applications en thérapie génique. Claude a dirigé l’analyse documentaire, l’élaboration du cadre théorique et la conception des expériences, et des humains ont réalisé et vérifié les expériences en laboratoire. Nous pensons que ce type d’application s’accélérera rapidement dans les années à venir et nous pourrons faire d’immenses progrès dans un avenir proche sur des maladies dont souffre l’humanité depuis des millénaires.

Mais ces capacités remarquables s’accompagnent également de risques qu’il faut gérer. Je vois deux principales catégories de risques. Premièrement, la mauvaise utilisation des modèles de l’IA, par exemple la mauvaise utilisation par des bioterroristes pour créer des armes biologiques. Le deuxième risque est la perte de contrôle : les capacités des modèles s’accélèrent au-delà de la capacité des développeurs à les contrôler.

Ces questions sont de portée mondiale et concernent toute l’humanité. Elles sont suffisamment graves pour être des questions importantes pour le Conseil, et pas seulement pour les ministères de l’économie ou chargés des technologies de l’information et de la communication. Si ce n’est pas bien géré, je pense même que l’IA pourrait représenter un risque pour l’ensemble de l’humanité.

Chez Anthropic, nous pensons que nous avons les meilleurs antécédents du secteur pour prévenir ces risques, sur le plan opérationnel comme dans notre recherche. Nous testons chaque modèle pour rechercher des capacités dangereuses dans des domaines comme la cybersécurité ou la biologie. Nous mettons en place d’importants garde-fous sur nos modèles les plus performants et nous publions nos travaux dans ces domaines. Nous avons été les pionniers de la recherche dans des domaines comme l’interprétabilité mécanistique et la science de l’alignement, qui améliorent notre capacité à contrôler nos modèles. Nous avons également des pratiques de transparence sans égal. Nous publions des rapports sur les risques qui font des centaines de pages, mais nous comprenons que, à mesure que les modèles IA deviennent plus puissants, il faudra des normes de sécurité encore plus strictes.

Et nous visons toujours à améliorer nos pratiques en termes de sécurité et d’alignement, notre capacité à prévenir les mauvaises utilisations, nous essayons toujours de faire mieux. Nous ralentirons autant que nécessaire pour faire en sorte que chaque nouvelle technologie d’IA que nous déployons soit véritablement sûre. Mais quoi que nous fassions, gérer ces risques dépasse en définitive n’importe quelle entreprise : c’est un enjeu à l’échelle de tout le secteur et du monde.

Le 12 septembre, j’ai appelé à un effort coopératif pour réguler le rythme de la frontière technologique, non pour stopper les progrès de l’IA, mais pour œuvrer ensemble afin de faire en sorte que le secteur et le monde puissent progresser à un rythme qui nous permettra d’être sûrs que la sûreté suive le rythme des capacités pour tous les acteurs du secteur. Cet appel avait trois parties. Premièrement, nous nous sommes engagés à intégrer des évaluateurs extérieurs au sein d’Anthropic, avec un accès comparable à celui des employés, un peu comme des inspecteurs sanitaires. Nous avons recommandé aux autres entreprises du monde entier de faire de même. Certaines ont déjà accepté d’adopter cette mesure. Deuxièmement, nous avons appelé à la coopération dans l’ensemble du secteur pour fixer les normes et moduler le rythme du progrès. Et enfin, nous avons appelé à une coopération mondiale entre les gouvernements pour fixer des normes internationales.

C’est ce dernier domaine qui relève le plus clairement des compétences du Conseil. Je voudrais vous proposer trois idées à cet égard. Premièrement, nous devrions commencer par des accords restreints que chaque membre pourrait soutenir. Par exemple, l’interdiction d’utiliser l’IA pour produire des armes biologiques ou d’autoriser l’utilisation de ces technologies d’IA pour produire des armes biologiques. Deuxièmement, nous devrions créer des systèmes d’évaluation et de vérification qui suivent le rythme du développement de l’IA afin que les États aient une visibilité sur les capacités des modèles de pointe et puissent vérifier les engagements des autres. Troisièmement, nous devrions établir des normes mondiales communes pour tester les modèles d’IA, pour détecter les risques de perte de contrôle et de mauvaise utilisation, ainsi qu’un système de notification pour les incidents d’IA importants pour la sécurité internationale.

Je pense que c’est la question de sécurité internationale la plus importante à laquelle est confronté le monde aujourd’hui. Malgré toutes les différences entre les personnes dans cette salle, nous devons les mettre de côté pour faire face à cette chance mondiale et à cette menace mondiale qui se présente à nous en même temps. Aucun dirigeant, aucune entreprise, aucun pays ne peut gérer cela seul. Nous nous engageons à œuvrer avec les gouvernements présents dans cette salle à cette tâche urgente. Je vous remercie de votre attention.

Clément DelangueMonsieur le Président, Mesdames et Messieurs les membres du Conseil, merci. Je suis citoyen français qui a déménagé aux États-Unis il y a quinze ans, cofondateur et directeur général de Hugging Face, devenue l’une des plateformes les plus utilisées par les développeurs et les agents, construite sur des modèles open source. 

En juillet dernier, nous avons été la première entreprise à révéler publiquement une cyberattaque menée par un agent autonome. Aujourd’hui, je souhaite en partager trois enseignements essentiels. Premièrement, nous pouvons tous convenir que nous avons besoin de davantage de transparence dans l’IA. Je me demande souvent ce qui se serait passé si nous avions décidé de ne pas révéler publiquement cette attaque, d’autant que nous savons désormais que des incidents similaires s’étaient produits des mois plus tôt, en secret, dans une poignée de laboratoires de pointe, sans aucune surveillance. 

Pour mieux comprendre et atténuer ces nouveaux risques en matière de cybersécurité, la communauté internationale a besoin de normes plus strictes de surveillance et de signalement des incidents, par exemple grâce au partage obligatoire de l’intégralité des traces d’exécution des agents. Nous avons appris cet été que concevoir et maintenir certains de ces systèmes à huis clos n’est pas la solution.
Deuxièmement, nous avons compris que le plus grand risque n’est pas l’IA puissante, mais l’asymétrie dans l’accès à l’IA puissante. Asymétrie entre attaquants et défenseurs, entre quelques entreprises et tous les autres, entre quelques pays et le reste du monde ; asymétrie dans le contrôle des capacités et de la puissance de calcul ; asymétrie de pouvoir.

Lorsque notre équipe s’est d’abord tournée vers les API fermées des modèles de pointe, celles-ci nous ont bloqués : nous ne pouvions pas les utiliser en raison de garde-fous qui ne savent toujours pas distinguer les attaquants des défenseurs. J’ai compris que ces garde-fous partent d’une bonne intention, mais qu’ils peuvent désavantager les défenseurs, alors que les attaquants les contournent facilement, ce qui accroît l’asymétrie des capacités. Dans notre cas, bloqués par ces garde-fous, nous avons heureusement pu utiliser la version NVIDIA d’un modèle open source chinois, GLM 5.2 de Z.ai, et nous en sommes très reconnaissants. Cela a renforcé notre conviction que l’IA open source est essentielle pour les défenseurs.

Les cyberattaques et les risques pourraient de plus en plus provenir de modèles propriétaires développés à huis clos, tandis qu’une grande partie de la défense pourrait reposer sur des outils open source, parce qu’ils sont moins restreints, plus respectueux de la vie privée et beaucoup moins coûteux pour les organisations du monde entier. Le monde a plus que jamais besoin de l’IA open source pour se défendre. Cela vaut évidemment non seulement pour la cybersécurité, mais pour l’IA en général : il n’a jamais été aussi nécessaire de répartir les capacités, les ressources et le contrôle plutôt que de les concentrer entre les mains de quelques-uns.

Troisièmement, lors de cette cyberattaque, nous avons appris à quel point l’IA peut susciter la peur dans l’opinion, notamment à travers une présentation anthropomorphique et un imaginaire de science-fiction. Nous sommes convaincus que les discours fondés sur la peur ne permettent ni de prendre les bonnes décisions sur l’avenir d’une technologie aussi fondamentale et émancipatrice, ni d’emporter l’adhésion du public.

Bien que nous ayons été victimes de cette cyberattaque, nous sommes plus convaincus que jamais que l’IA sera bénéfique pour la cybersécurité et rendra le monde plus sûr, comme les grandes technologies qui l’ont précédée. Nous avons été attaqués par l’IA, mais surtout, nous nous sommes défendus grâce à l’IA. Les systèmes qui nous ont aidés pendant cette attaque nous aident désormais face aux cyberattaques que nous subissons déjà. Ils nous aident aussi à corriger les bogues et les failles de nos systèmes avant toute attaque, de la même manière que l’IA aide OpenAI à corriger ses environnements isolés pour éviter de nouvelles évasions. L’IA ne crée pas seulement de nouveaux défis en matière de cybersécurité : elle peut rendre la cybersécurité fondamentalement et réellement plus solide si nous maintenons les bonnes incitations, si nous équipons les défenseurs davantage que les attaquants et si nous n’accroissons pas l’asymétrie entre eux. Et c’est sans compter l’impact positif de l’IA sur la science, la santé, l’éducation, la productivité et bien d’autres domaines évoqués par les intervenants précédents.

Pour conclure, je tiens à rappeler ce que nous a appris cette première cyberattaque menée par des agents : la nécessité de davantage de transparence dans l’IA, et de davantage d’open source pour lutter contre l’asymétrie et donner des moyens d’agir aux pays, grands et petits. Je remercie encore le Conseil de sécurité des Nations unies et M. Barrot de m’avoir invité à prendre la parole aujourd’hui. La communauté Hugging Face et moi-même sommes à votre disposition. Merci beaucoup.