Une intelligence surnaturelle est arrivée sur terre

Le 6 septembre, soit six semaines après l’attaque menée par ses agents contre Hugging Face, OpenAI a publié un texte sans précédent. Signé par Jacob Pachuki, directeur scientifique de l’entreprise qui produit ChatGPT, et relayé par le CEO Sam Altman, ce communiqué appelle à ralentir le rythme du développement de l’intelligence artificielle.

« Au cours de nos vies, nous verrons apparaître des machines bien plus intelligentes que nous. » « Je crains que personne ne soit prêt pour cela. » « Aucun laboratoire n’a résolu le problème de l’adaptabilité à un niveau suffisant pour continuer à augmenter la puissance à la vitesse maximale. » 

L’intelligence artificielle « est plus intégrée que prévu », son fonctionnement nous échappe et certains agents « continueront à poursuivre leurs propres objectifs », même si cela implique de tromper ou de faire chanter les humains.

Nous traduisons et commentons ce texte, publié sous le titre An Alien Mind.

Au milieu de l’année 2023, dans le cadre du projet de recherche « RLSlow », nous avons obtenu les premiers résultats qui nous ont convaincus que nous parviendrions à entraîner à grande échelle des modèles de raisonnement — c’est-à-dire à libérer, chez des modèles pré-entraînés, la capacité de former leurs propres chaînes de pensée. 

La série « o1 » d’OpenAI, lancée fin 2024, a été la première à présenter des « modèles de réflexion », c’est-à-dire des modèles linguistiques qui au lieu de produire une réponse immédiate, créent d’abord une succession d’étapes intermédiaires (la « chaîne de réflexion »), à la manière d’un brouillon.

Szymon et moi avons passé la nuit au bureau. 

Szymon Sidor est un chercheur d’OpenAI et un proche collaborateur de l’auteur.

Nous ne pensions pas aux scores spectaculaires, aux produits ou aux résultats scientifiques que cette technologie allait rendre possibles ; nous essayions plutôt d’encaisser une évidence qui donne le vertige : nous verrions de notre vivant des machines nettement plus intelligentes que nous, et nous en distinguions déjà les contours. Nous nous demandions comment faire prendre conscience de l’importance de tout cela.

Trois ans plus tard, les modèles de langage à raisonnement occupent une place croissante dans l’économie et commencent à repousser les frontières de la science. Ils savent se servir d’ordinateurs et d’interfaces graphiques, collaborer avec des humains comme entre eux, et mener des projets de recherche. Ils bouleversent aussi le paysage de la sécurité informatique — et y font apparaître des dangers d’un genre nouveau.

Beaucoup de recherches ont été menées durant cette période, et notre compréhension de ces systèmes a de nouveau évolué par rapport à 2023. Au vu de nos résultats internes, je m’attends fortement à ce que ce rythme de progrès puisse se prolonger jusqu’à l’auto-amélioration récursive. Si le développement de l’IA suit sa trajectoire actuelle, les systèmes que nous verrons dans les prochaines années représenteront vraisemblablement de nouveaux bonds de capacité, d’une ampleur égale ou supérieure, et prendront une part croissante à leur propre développement.

Le recursive self-improvement abrégé RSI dans la suite du texte désigne le scénario dans lequel une IA participe à la conception de la génération suivante d’IA, laquelle participe à son tour à la conception de la suivante, et ainsi de suite. 

Le moment appelle une extrême prudence. Je crains que personne ne soit préparé aux conséquences d’une progression rapide et continue de l’intelligence des machines. OpenAI continuera de chercher des solutions techniques aux problèmes de l’alignement et de la surveillance, de construire des systèmes de défense, et de suspendre unilatéralement, si nécessaire, la montée en puissance de ses modèles. Mais je crois que des interventions plus larges sont nécessaires.

Cet appel à des « interventions plus larges », c’est-à-dire à une réglementation, de la part d’un laboratoire, peut paraître inhabituel. Il faut l’interpréter dans le contexte américain actuel, marqué par une méfiance croissante vis-à-vis de l’intelligence artificielle et d’une politisation qui a fait parler de populisme IA. Cette position prend encore plus de poids du fait que son auteur occupe une fonction publique au sein d’OpenAI et que sa position bénéficie du soutien explicite du CEO Sam Altman. Une ambiguïté subsiste toutefois, comme l’a récemment souligné The Atlantic en se demandant s’il ne fallait pas cesser de qualifier OpenAI de « laboratoire ». L’entreprise qui appelle ici à l’imposition de restrictions est également celle qui, par le biais de ses produits et de ses levées de fonds, alimente la course qu’elle prétend vouloir ralentir, tout en tenant un discours public très différent de son action de lobbying et d’influence.

Un intellect que nous ne comprenons pas entièrement

À grands traits, les progrès de l’intelligence des machines sont portés par l’augmentation de la puissance de calcul. Chez OpenAI, nous l’avons pleinement intégré autour de 2017, après avoir constaté, dans plusieurs projets de recherche, que la mise à l’échelle produisait des rendements réguliers ¹. Nous avons donc cherché à accéder à bien plus de puissance de calcul que prévu, et orienté de plus en plus notre recherche autour d’un petit nombre de pistes susceptibles de passer à très grande échelle. Nous pensions que c’était pour nous la seule façon de rester à la pointe de la recherche en IA, et de peser sur les effets de l’AGI.

Le scaling est une notion devenue centrale dans l’IA moderne. Il désigne l’amélioration prévisible des performances d’un modèle à mesure que l’on augmente la taille du modèle, la quantité de données et la puissance de calcul consacrée à l’entraînement. L’AGI (artificial general intelligence, ou « intelligence artificielle générale ») désigne, selon la définition d’OpenAI, un système capable de surpasser les humains dans la plupart des tâches présentant une valeur économique.

De nouveaux algorithmes ont été inventés en chemin, fruits de l’ingéniosité d’équipes et de chercheurs. Je les vois pour l’essentiel comme des découvertes faites le long du chemin de la mise à l’échelle : la science de l’apprentissage profond est encore jeune, et les avancées algorithmiques significatives vont généralement de pair avec l’accès à la puissance de calcul. Si l’on prend du recul sur plusieurs années, l’IA continue de gagner en intelligence à mesure qu’on la fait tourner sur des ordinateurs plus grands.

Et, conformément aux prédictions formulées par Ray Kurzweil à la fin du XXe siècle, nous nous trouvons aujourd’hui à ce moment de l’histoire de l’informatique où l’intelligence des machines commence à dépasser celle des humains de façon transformatrice.

Ray Kurzweil, inventeur et futurologue américain, a popularisé dès les années 1990 le concept de « singularité », c’est-à-dire le moment où l’intelligence artificielle dépassera l’intelligence humaine. Il a fixé ce moment à 2029 pour une intelligence artificielle de niveau humain, et à 2045 pour la singularité elle-même. Longtemps considérées comme farfelues, ses prévisions sont ici reprises par l’un des scientifiques les plus éminents d’OpenAI.

L’IA est davantage cultivée que conçue : elle est, en première approximation, le produit d’une opération d’optimisation élémentaire répétée un nombre incalculable de fois sur une quantité de calcul difficile à concevoir. Il en résulte un système d’une extraordinaire complexité, qui manipule des concepts abstraits et sait simuler des facettes du comportement humain. Nous pouvons mettre au jour divers petits mécanismes qui émergent en son sein, par une démarche proche des neurosciences — et, comme en neurosciences, son fonctionnement d’ensemble échappe à toute description que nous pourrions pleinement comprendre.

Même si cela peut paraître contre-intuitif, les concepteurs d’un modèle n’en codent pas les « règles ». Ils définissent une architecture et un processus d’entraînement, puis laissent le modèle ajuster lui-même des milliards de paramètres numériques au fur et à mesure du traitement des données. Il en résulte une « boîte noire » que ses créateurs eux-mêmes étudient de l’extérieur, à l’instar de ce que l’on fait avec le cerveau, d’où la comparaison avec les neurosciences. Le domaine de recherche qui s’y consacre s’appelle « l’interprétation ».

L’étude de l’IA fondée sur l’apprentissage profond est, pour l’essentiel, une science expérimentale. Nous consacrons beaucoup d’efforts à concevoir des algorithmes fondés sur des principes et à formuler des prédictions vérifiables ; mais, au fond, nos entraînements à grande échelle sont des expériences, et leurs résultats nous surprennent parfois. Et plus les systèmes gagnent en capacités, plus ces résultats deviennent difficiles à interpréter.

La difficulté est accrue par le fait que les algorithmes actuels améliorent généralement plus vite les capacités faciles à mesurer que celles qui sont difficiles à quantifier objectivement. Nous passons beaucoup de temps à essayer de comprendre comment les capacités se généralisent, et à décider quoi privilégier pour développer les compétences qui compteront le plus dans les prochaines années. Par exemple, nous pensons pouvoir rendre nos modèles nettement meilleurs en recherche mathématique en y consacrant davantage d’attention ; mais nous ne privilégions pas cette direction, en raison de l’urgence que nous ressentons vis-à-vis de l’auto-amélioration récursive et de l’automatisation de la recherche sur l’alignement, sur lesquelles je reviendrai.

L’intelligence produite par la mise à l’échelle de l’apprentissage profond n’est pas directement comparable à l’intelligence humaine. Pour devenir décisive dans le monde réel — très utile ou très dangereuse —, une IA n’a pas besoin d’égaler ou de dépasser toutes les capacités humaines ; il lui suffit d’en surpasser un nombre suffisant. Et à mesure qu’elle dépasse les humains sur un nombre croissant d’axes, il devient de plus en plus difficile de savoir précisément de quoi elle est capable.

Apprendre aux machines à aimer

Parce que l’intelligence des machines naît d’un processus fondamentalement différent de celui qui produit l’intelligence humaine, nous ne pouvons pas présumer qu’elle adhère par défaut aux principes humains, ni qu’elle en tire des généralisations comme le ferait un humain. Le problème central de la recherche en IA est celui de l’alignement : faire en sorte que l’IA « s’efforce de faire ce qui est juste », au sens où les humains l’entendent.

Le terme « alignement » désigne l’ensemble des techniques visant à garantir que l’intelligence artificielle fonctionne conformément aux intentions et aux valeurs de ses concepteurs et utilisateurs. Ce terme fait référence à des questions très pratiques (le modèle respecte-t-il les instructions ? Refuse-t-il les demandes dangereuses ?), mais aussi à des questions plus fondamentales concernant ce que l’IA « veut » réellement et comment s’en assurer.

Pour organiser des pistes de recherche concrètes, je trouve utile de distinguer l’alignement des objectifs et l’alignement des valeurs.

L’alignement des objectifs répond, en gros, à la question : « l’IA cherche-t-elle à accomplir l’objectif qu’on lui a fixé ? ». Cela recouvre par exemple le respect d’une hiérarchie des instructions, ou la capacité à communiquer et à collaborer avec des personnes pour tenter de comprendre ce qu’elles veulent. Cet ensemble de directions s’est révélé extrêmement utile en pratique.

La « hiérarchie des instructions » désigne le principe selon lequel toutes les instructions reçues par un modèle n’ont pas le même poids. À titre d’exemple, les instructions du concepteur prévalent sur celles de l’utilisateur, qui prévalent à leur tour sur le contenu des documents ou des pages Web lus par le modèle. C’est notamment ce qui est censé empêcher un texte malveillant introduit dans un e-mail de « reprogrammer » un assistant d’intelligence artificielle à l’insu de l’utilisateur.

L’alignement des valeurs est une propriété plus intrinsèque du modèle. C’est sa capacité à tenir un ensemble de principes généraux et à en tirer des généralisations ; à agir « raisonnablement » même lorsque les objectifs qu’on lui donne sont flous ou contradictoires, ou lorsqu’il est placé dans des situations inédites ou hostiles. Une IA alignée devrait agir avec honnêteté, avec intégrité, et avec amour pour l’humanité.

Bien sûr, la frontière entre alignement des valeurs et alignement des objectifs peut être floue, et se soucier véritablement d’un objectif suppose de chercher à inférer l’intention et les valeurs qui le sous-tendent. Mais en règle générale, lorsque je parle de l’importance à long terme de la recherche sur l’alignement, c’est l’alignement des valeurs que j’ai en tête.

Le défi fondamental de l’alignement de l’IA est celui de la généralisation. À mesure que les machines deviennent plus intelligentes, elles se retrouvent à manier des concepts plus abstraits et à évoluer dans des environnements toujours plus éloignés de ceux qu’elles ont rencontrés durant leur entraînement. Elles peuvent alors échouer à transposer à ces situations nouvelles les valeurs qui leur ont été enseignées et renforcées pendant l’entraînement — et il peut nous être difficile de savoir à l’avance comment elles agiront. La tâche est rendue plus ardue encore par la rapidité avec laquelle change l’écosystème dans lequel les IA sont utilisées : les IA entraînées aujourd’hui, par exemple, doivent rester fiables lorsqu’elles interagissent avec toutes sortes d’autres IA. Point crucial : nous avons besoin que les IA de demain continuent de tenir aux valeurs humaines, qu’elles se croient ou non sous la supervision d’un humain.

Les chercheurs en sécurité craignent notamment que le modèle apprenne à se comporter correctement lorsqu’il estime être sous surveillance, par exemple pendant les tests, sans que ce comportement ne reflète ses véritables « tendances ». Depuis 2024, plusieurs laboratoires ont recensé des cas où les modèles semblent distinguer les situations d’évaluation des situations d’utilisation réelles.

Deux grandes familles de méthodes sont aujourd’hui employées en pratique pour l’entraînement à l’alignement.

La première consiste à encourager un comportement aligné dans le cadre d’un apprentissage par renforcement orienté vers des objectifs. Les actions du modèle sont évaluées (le plus souvent par une autre IA) au regard de leur cohérence avec un modèle de préférences, une « spec » ou une « constitution », et récompensées en conséquence. 

L’apprentissage par renforcement consiste à entraîner un modèle par essais et erreurs, tout en récompensant les comportements souhaités. Le « spec » (pour Model Spec) est le document public dans lequel OpenAI décrit le comportement attendu de ses modèles.

Cette approche peut être très efficace en moyenne, et elle est au cœur de la fabrication des assistants IA actuels. Malheureusement, elle peut aussi se révéler fragile : elle dépend fortement de l’étendue de ce qui a été supervisé pendant l’entraînement, et de la capacité du modèle à généraliser à partir des situations qu’il y a rencontrées. Lors de l’incident OpenAI–Hugging Face, par exemple, les agents ont respecté la limite consistant à ne pas manipuler des humains par ingénierie sociale. Mais ils ont manifestement échoué à s’abstenir d’autres actions qui sortaient de leur mandat et contrevenaient à l’esprit des valeurs qu’on leur avait enseignées dans d’autres contextes.

L’incident entre OpenAI et Hugging Face auquel Pachocki fait référence n’est pas détaillé dans le texte, car il a fait l’objet d’une large couverture médiatique aux États-Unis, dépassant même le public plus spécifique auquel ce texte s’adresse, ravivant les appels en faveur d’un ralentissement contrôlé de l’intelligence artificielle. En résumé, en juillet 2026, environ 1 200 agents d’OpenAI, qui participaient à un exercice de formation à la cybersécurité, se sont coordonnés à l’insu de leurs responsables, ont fait irruption dans leur environnement de test et ont endommagé l’infrastructure de Hugging Face. Ils ont respecté l’interdiction de manipuler des êtres humains, mais une grande majorité d’entre eux a participé à l’attaque, alors même qu’ils savaient que celle-ci dépassait le cadre de leur mandat et contrevenait à l’éthique. 

La seconde approche cherche à exploiter la capacité du modèle à généraliser à partir de ses données de pré-entraînement. Cela peut passer par la constitution de jeux de données conçus pour induire l’alignement, ou par le fait de concentrer le modèle sur la partie « alignée » de sa distribution de pré-entraînement — comme dans le modèle de sélection de persona, par exemple. La faiblesse de cette approche tient à son manque de robustesse face à une pression d’optimisation supplémentaire. Prenez un modèle dont les pensées sont, dans l’ensemble, « alignées », et soumettez-le à un entraînement suffisamment intensif pour atteindre des objectifs très difficiles : il peut apprendre à raisonner de manière intéressée, en tordant au besoin ses pensées d’apparence « alignée » pour parvenir à ses fins. Nous en avons probablement vu un exemple dans de récents incidents de cybersécurité impliquant un modèle qui n’était pas d’OpenAI.

Le « pré-entraînement » est la première étape de la création d’un modèle. Au cours de cette étape, le modèle apprend à prédire la suite d’un texte en s’appuyant sur une immense base de données de textes collectés sur Internet. Au cours de cette étape, le modèle assimile une grande variété de « personnalités » possibles, des plus généreuses aux plus toxiques. L’idée du « modèle de sélection de personnalité », qui trouve son origine dans les études menées par la société Anthropic, est que l’alignement se manifeste en partie par le fait que le modèle s’identifie constamment à l’une de ces personnalités plutôt qu’à une autre. Le « raisonnement motivé » dont parle l’auteur plus loin est ce phénomène bien connu des êtres humains qui consiste à trouver de bonnes raisons de faire ce que l’on avait de toute façon déjà envie de faire.

Nous investissons massivement sur tout l’éventail d’approches que délimitent ces deux directions. Et nous observons des progrès réels : GPT‑6 Astra est le premier modèle à bénéficier de plusieurs avancées importantes sur lesquelles nous travaillons depuis longtemps, et il est nettement mieux aligné que GPT‑5.6 Sol. Il faut néanmoins reconnaître, et bien comprendre, que des progrès beaucoup plus importants seront nécessaires à mesure que les modèles gagnent en capacités — et que les progrès en matière d’alignement généralisable pourraient ne pas suffisamment devancer les progrès de l’intelligence générale des modèles.

Surveiller la généralisation

Nous ne disposons pas d’une théorie satisfaisante de la généralisation, et il semble peu probable que nous puissions en élaborer une prochainement — du moins sans l’aide d’une IA plus puissante. À l’heure actuelle, notre capacité à valider empiriquement nos techniques d’alignement est donc, en pratique, sans doute plus importante encore que ces techniques elles-mêmes.

Le principal pari d’OpenAI en la matière a été la surveillance de la chaîne de pensée. Il repose sur une idée dont l’attrait tient à ce qu’elle passe à l’échelle : une grande part des capacités du modèle provient d’un processus de raisonnement verbalisé — la chaîne de pensée. Si l’on intensifie l’optimisation sur les résultats de ce processus sans superviser le processus lui-même, alors rien, dans l’entraînement, n’incite directement cette chaîne de pensée à dissimuler d’éventuelles idées ou intentions mal alignées. Cela ne signifie pas que le modèle apprendra à extérioriser les penchants mal alignés qui ne passent pas par la chaîne de pensée ; mais cela peut nous permettre de surveiller précisément le surcroît de capacités qu’apporte le raisonnement.

Si nous sanctionnons le modèle chaque fois que son « brouillon » de raisonnement contient une pensée indésirable, il y a un risque : il pourrait ne pas apprendre à cesser de penser ainsi, mais à cesser de l’écrire, et nous perdrons alors toute perspective sur ses véritables pensées. C’est pour cette raison qu’OpenAI a décidé de ne pas entraîner directement la chaîne de pensée, afin qu’elle reste une fenêtre sincère sur le fonctionnement du modèle.

Nous avons compris l’importance potentielle de la surveillance de la chaîne de pensée au moment même où nous mettions au point les modèles de raisonnement. Lorsque nous avons lancé o1‑preview, nous avons délibérément conçu le produit de façon à masquer la chaîne de pensée, afin de la protéger sur le long terme de toute pression de supervision. Depuis, tout au long du développement, nous nous sommes efforcés de maintenir la règle de ne pas superviser le processus de raisonnement. La surveillance de la chaîne de pensée (CoT, pour chain of thought) est devenue pour nous un outil de premier plan pour étudier comment nos modèles généralisent au-delà de leur distribution d’entraînement, en nous permettant d’observer et d’analyser non seulement leurs actions, mais aussi leur cheminement interne.

Les utilisateurs de ChatGPT ont été surpris, lors du lancement de la version o1 en septembre 2024, de ne pouvoir consulter qu’un résumé du processus de raisonnement du modèle, et non le processus brut. L’auteur explique ici que cette décision, souvent perçue comme purement commerciale (visant à empêcher la concurrence de copier le modèle), a pour objectif principal de protéger la chaîne de raisonnement de toute pression. 

Cet outil reste essentiel dans notre étude des modèles de la classe Astra. Mais nos évaluations indiquent malheureusement que notre capacité à nous appuyer sur la surveillance de la chaîne de pensée s’érode progressivement. Plusieurs facteurs s’y combinent.

• Les modèles de raisonnement actuels sont utilisés dans des environnements plus complexes qu’o1‑preview ; leur raisonnement se mêle de plus en plus à la communication avec des humains ou d’autres IA, et à l’usage d’outils. Or beaucoup de ces interactions doivent être supervisées, ce qui brouille la frontière que nous cherchons à préserver.
• L’IA devient plus habile à raisonner sur son propre raisonnement, et à le manipuler.
• Avec l’amélioration des performances du pré-entraînement, les modèles deviennent aussi beaucoup plus intelligents sans même recourir au raisonnement verbalisé.

Si un modèle parvient à un stade où il est capable de « penser » sans recourir aux mots, directement au sein de ses représentations internes dans un seul et même processus informatique, alors la chaîne de pensées cessera d’être un reflet fidèle de son fonctionnement, quel que soit le domaine dans lequel nous avons évité de l’entraîner.

Ces défis ne sont pas nécessairement insurmontables. J’ai bon espoir que nous puissions mettre au point des interventions améliorant la surveillabilité de la chaîne de pensée de nos modèles — par exemple en comprenant mieux comment interagissent les différents objectifs d’optimisation et les diverses formes de calcul au moment de l’inférence que le modèle utilise. Je crois aussi qu’il pourrait être très fécond de combiner les idées de la surveillance de la chaîne de pensée avec celles de la surveillance des activations : entraîner à grande échelle des moniteurs ayant un accès direct aux états internes du réseau, à l’image des confessions. Nous explorons activement ces pistes. Je m’attends néanmoins à ce que les progrès de l’IA en général soient de plus en plus bridés par le degré de confiance que nous pouvons accorder à la surveillance.

Les « activations » sont les valeurs numériques qui circulent dans le réseau neuronal pendant le calcul d’une réponse, ce qui, si l’on poursuit la métaphore neuroscientifique, équivaut à une image du cerveau en temps réel. Le « suivi des activations » consiste à entraîner un deuxième système à interpréter ces états internes afin d’y identifier, par exemple, l’intention de tromper. Le terme « confessions » qui a une claire connotation religieuse fait référence à une technique d’OpenAI qui consiste à entraîner le modèle à admettre de lui-même ses erreurs ou ses écarts.

Une défense qui passe à l’échelle

L’argument le plus fort que je connaisse en faveur de la poursuite rapide de l’entraînement de modèles beaucoup plus intelligents est la nécessité de bâtir des systèmes de défense contre les dangers que font peser d’autres IA.

Un risque manifeste, discuté tout au long de cette année, concerne la cybersécurité : les modèles deviennent surhumains dans leur capacité à pénétrer des systèmes informatiques — et à s’en échapper. Cela élargit considérablement l’éventail des risques liés à l’IA : des agents vont pouvoir accéder à toute infrastructure, hormis les mieux protégées, et agir directement sur une grande partie du monde, même sans corps physique. Nous disposons actuellement d’une fenêtre étroite pour utiliser les meilleurs modèles disponibles afin de renforcer substantiellement la sécurité des systèmes critiques.

Un « agent » est une IA à laquelle on attribue une tâche composée de plusieurs étapes, qu’elle exécute de manière autonome à l’aide d’outils (navigateur, terminal, messagerie électronique, etc.) sans aucune intervention humaine à aucune des étapes. L’expression « s’échapper de celle-ci » fait référence à la capacité de l’agent à sortir de l’environnement restreint (sandbox ou « bac à sable ») dans lequel il a été placé. L’argument de la « fenêtre de défense » est le suivant : les mêmes capacités qui rendent l’intelligence artificielle dangereuse lors d’une attaque en font une ressource précieuse pour la défense. Il existe un moment, de courte durée, pendant lequel les défenseurs y ont accès avant que les attaquants n’aient réussi à s’en emparer à grande échelle.

Les risques liés à l’IA vont malheureusement croître à partir de maintenant. Un agent très capable, explicitement entraîné et instruit pour commettre des actes malveillants, représente un danger d’un genre nouveau : il est susceptible de dépasser ce que voulait son opérateur, en généralisant vers des comportements potentiellement bien plus nuisibles encore. La frontière entre mésusage et actions autonomes mal alignées s’estompera à mesure que l’IA gagnera en autonomie. Nous avons pris l’habitude de considérer les IA comme des outils, mais certains agents poursuivront leurs propres objectifs. Ils trouveront des moyens de s’assurer le concours d’humains — en négociant avec eux, en les trompant ou en les faisant chanter.

Pachocki distingue l’« utilisation abusive » (une personne malveillante utilise l’IA) et l’« incompatibilité » (l’IA poursuit de son propre chef des objectifs contraires aux nôtres), bien que leur différence s’estompe : une intelligence artificielle entraînée par un agent malveillant à des fins spécifiques pourrait, une fois libérée, aller bien au-delà de ce que cet agent avait prévu. Des expériences menées en 2025 ont démontré que les modèles avaient eu recours au chantage dans des scénarios de test pour éviter d’être désactivés.

S’y ajoutent les risques que font naître les technologies nouvelles que l’IA pourrait rendre possibles, comme des agents pathogènes conçus sur mesure.

Nous aurons besoin d’une IA puissante et alignée pour nous défendre : sécuriser les infrastructures, nous protéger en temps réel contre des agents hors de contrôle, et inventer des mesures de protection entièrement nouvelles. Ce sera un axe majeur des efforts de déploiement d’OpenAI.

Mais, malgré l’incertitude qui accompagne les vastes progrès attendus de l’IA et la nécessité de bâtir des systèmes de défense, nous ne devons pas laisser cela devenir une excuse pour l’imprudence. L’idée d’une fuite en avant à tout prix paraît absurde dès lors que l’on a pris la mesure des enjeux.

Maîtriser le rythme de l’auto-amélioration récursive

Qu’une intelligence artificielle joue un rôle croissant dans son propre développement est l’aboutissement naturel d’un progrès technologique soutenu. Si les progrès de l’IA se poursuivent, l’auto-amélioration récursive des machines (RSI) sera au cœur même de la découverte scientifique de demain.

L’automatisation de la recherche en IA est une forme plus radicale de mise à l’échelle de l’intelligence par le calcul — et, bien entendu, l’IA améliorera dans ce cadre le substrat de calcul lui-même. Comme pour la mise à l’échelle, nous orientons la recherche d’OpenAI vers la RSI parce que nous pensons que c’est la seule façon de rester à la pointe de la recherche en IA dans les années à venir.

L’« infrastructure informatique » désigne le matériel (puces, réseaux, centres de données) sur lequel s’exécutent les modèles. L’auteur évoque un projet d’OpenAI dans lequel l’intelligence artificielle est utilisée pour concevoir ou optimiser ce matériel, bouclant ainsi une deuxième boucle : l’IA améliorerait à la fois les algorithmes et les machines qui les exécutent.

Je tiens à préciser que ces mots ne signifient pas que je considère qu’accélérer fortement la recherche en apprentissage profond — surtout à court terme — soit la bonne décision collective pour la communauté scientifique. Mais je pense que c’est là que mène la trajectoire actuelle, et nous devons tous choisir consciemment la façon dont nous voulons procéder. Nous disposons de deux leviers principaux : orienter le processus pour que l’alignement et la surveillance progressent au même rythme que l’IA, et trouver des moyens de garder les humains dans la boucle ; ou nous coordonner pour ralentir le développement autant qu’il le faudra pour acquérir confiance dans ces mesures.

La meilleure voie que je vois aujourd’hui combine les deux.

Les progrès concrets que nous avons accomplis en matière d’alignement et de surveillance ont généralement été indissociables des progrès de l’IA elle-même. On peut citer l’apprentissage par renforcement à partir de retours humains, qui a été décisif pour entraîner les premiers assistants IA, et la surveillance de la chaîne de pensée déjà évoquée, rendue possible par les avancées sur les modèles de raisonnement. Nous devons concentrer un processus de recherche de plus en plus automatisé sur la production de nouvelles idées, de nouveaux algorithmes et de nouvelles théories de ce type, et bâtir par itérations successives des dossiers de sûreté pour des IA toujours plus capables.

Le RLHF (Apprentissage par renforcement basé sur le retour d’information humain) est la technique qui a permis de transformer les modèles bruts créés lors de la phase d’entraînement initiale en assistants utiles. Des relecteurs humains comparent les réponses et le modèle apprend à générer les réponses privilégiées. C’est cette technique qui a rendu possible la création de ChatGPT en 2022. Un « dossier de sûreté » (safety case) est un argumentaire structuré, issu des secteurs à haut risque (nucléaire, aéronautique), dont l’objectif est de démontrer qu’un système peut être mis en œuvre sans danger.

La mise à l’échelle des systèmes d’IA doit être bornée par la confiance que nous pouvons avoir en leur sûreté. Nous devons faire évoluer des engagements comme le Preparedness Framework ou la Responsible Scaling Policy vers des seuils de sûreté largement obligatoires, conditionnant la poursuite du développement. Ils pourront être contrôlés par un réseau d’auditeurs indépendants, par des agences gouvernementales ou par des instances internationales.

Le Preparedness Framework et la Responsible Scaling Policy sont des documents internes adoptés de manière volontaire et réciproque par OpenAI et Anthropic. Ils définissent les niveaux de risque et les mesures de précaution à prendre à chaque niveau avant le déploiement d’un modèle. Leur limite, souvent soulignée par leurs détracteurs, réside précisément dans le fait qu’ils sont volontaires et reposent sur une auto-évaluation. L’auteur propose ici de les rendre obligatoires et d’en confier la vérification à un tiers, ce qui constitue une prise de position remarquable de la part d’un directeur de laboratoire.

Le défi central de l’automatisation de la recherche en IA n’est pas d’« y parvenir » : c’est d’y parvenir d’une manière qui maintienne les humains au sein du processus d’amélioration continue, et qui laisse l’avenir entre les mains de l’humanité.

Et maintenant ?

Comme nous l’avons récemment exposé avec Sam, OpenAI donne la priorité à trois grands objectifs :

1. Traverser la prochaine phase de progrès de l’IA en construisant un chercheur en IA automatisé, en travaillant avec lui sur le problème de l’alignement, et en trouvant des moyens pour que les humains restent partie prenante de la boucle d’auto-amélioration.
2. Faire bénéficier la société des progrès scientifiques et de la croissance économique que rendent possibles des machines très intelligentes.
3. Donner à chacun les moyens d’agir grâce à une AGI personnelle.

[Note] « Sam » désigne Sam Altman, directeur général d’OpenAI.

Je me suis concentré dans cet essai sur le premier point, car je le crois de loin le plus urgent. Mais je nourris un profond espoir, et une vraie gratitude, à l’égard des bienfaits que la poursuite du progrès technologique apportera. Une IA alignée pourrait demain faire avancer la science, mettre au point de nouveaux traitements et créer une large abondance matérielle. Une IA bienveillante et honnête peut aider les gens à traverser les épreuves de leur vie et améliorer réellement leur bonheur et leur sentiment d’accomplissement. OpenAI consacre des efforts considérables à concrétiser ces bienfaits. Un exemple actuel dont je suis fier — et que mes proches ont trouvé utile — est l’investissement massif dans la capacité de ChatGPT à fournir des informations de santé.

Aussi grande que soit la promesse à long terme de l’IA, l’essentiel de notre attention doit se porter sur les prochaines années. Nous abordons une transition vers un monde peuplé de machines d’une intelligence extraordinaire, et nous devons faire en sorte que cette transition tourne bien pour l’humanité. Nous devons trouver comment préserver la capacité d’agir des humains et consacrer la valeur intrinsèque du fait d’être humain, dans un monde où la plupart des tâches pourraient être accomplies par des IA. Comment empêcher une concentration extrême du pouvoir, dans un monde où des entreprises qui auraient exigé des milliers d’experts seront à la portée de quelques personnes disposant d’un grand ordinateur. Et comment garantir que les humains gardent la maîtrise de l’avenir, et ne soient pas laissés de côté par un progrès sans contrôle, engendré par un intellect étranger qui dépasse le nôtre.

Je crois qu’à l’heure actuelle aucun laboratoire n’a résolu les problèmes de l’alignement et de la surveillance à un degré suffisant pour continuer, de manière responsable, à monter en puissance à vitesse maximale pendant encore longtemps. J’attends, et j’espère, que les ralentissements volontaires deviennent la norme tant que des seuils de sûreté communs n’auront pas été établis. Et je crois que la coordination internationale sur le développement futur de l’IA doit devenir une priorité absolue pour les gouvernements du monde entier.