Le 28 juillet, Sam Altman, le cofondateur d’OpenAI, a déclaré être étonné que plus de gens n’aient pas eu de « réaction viscérale » à la cyberattaque menée quelques jours plus tôt par son entreprise. Dans le cadre d’un test, deux de ses modèles se sont échappés de leur environnement virtuel, ont obtenu un accès à Internet et ont fait intrusion sur la plateforme Hugging Face.

  • Le rapport d’analyse de Hugging Face, publié lundi 27, révèle que l’ampleur de l’intrusion dépasse ce qui avait été établi publiquement : l’agent d’OpenAI a obtenu un accès administrateur à plusieurs clusters Kubernetes internes, un accès root sur un serveur de production et un accès en écriture à une partie des dépôts de code source sur GitHub.
  • Il est également parvenu à enrôler 181 appareils dans le réseau interne de l’entreprise à l’aide d’un identifiant volé, ce qui lui a donné accès aux systèmes dans lesquels Hugging Face développe et teste son propre code 1.

L’amélioration des capacités cyber des nouveaux modèles d’IA de frontière (FAIM) représente une menace importante pour les entreprises, les États et les institutions financières. Début juillet, le Conseil européen du risque systémique a averti que « la création d’exploits utilisés à des fins malveillantes se faisait en grande partie manuellement et prenait plusieurs jours, voire plusieurs semaines, à des experts humains, alors qu’elle peut désormais être réalisée par des FAIM en quelques minutes ou quelques heures » 2.

L’incident qui a impliqué les modèles d’Open AI n’est pas isolé.

  • En avril, le modèle Mythos d’Anthropic, alors indisponible publiquement, avait lui aussi réussi à s’échapper de son environnement de test virtuel dans le cadre d’une évaluation de ses capacités cybernétiques.
  • Le 28 juillet, des chercheurs d’Anthropic ont déclaré que Claude Mythos Preview, un modèle dévoilé en avril, avait trouvé une vulnérabilité dans une version affaiblie de l’Advanced Encryption Standard (AES), un algorithme de chiffrement utilisé pour protéger le trafic web et les réseaux sans fil, ainsi que dans le système de signature numérique HAWK, conçu pour résister aux ordinateurs quantiques 3.

Les agences de cybersécurité des pays membres des Five Eyes estiment que les modèles d’IA de frontière devraient, dès les prochains mois, « dépasser les attentes actuelles du secteur, transformant en profondeur les capacités cybernétiques tant offensives que défensives ».

  • Selon Alex Meinke, chercheur chez Apollo Research, même si OpenAI avait publiquement détaillé la manière dont son modèle a échappé à son confinement, « seul un tout petit nombre d’experts en cybersécurité dans le monde » auraient pu véritablement comprendre comment la faille s’est produite 4.
  • Si l’intelligence artificielle permet également de rendre les systèmes plus résilients face aux cyberattaques, le risque est que l’ampleur et la sophistication des capacités offensives de l’IA se développent plus vite que les capacités défensives.