Quelles sont les leçons du piratage de Hugging Face par les agents d’OpenAI ?

Un mois après la révélation par OpenAI de la cyberattaque menée en autonomie et sans supervision par ses modèles d’intelligence artificielle contre la plateforme Hugging Face, un nouveau rapport indépendant réalisé par METR et Redwood Research révèle les dessous de l’opération, alors que l’ampleur de l’attaque était bien supérieure à ce qui avait initialement été révélé.

• L’attaque a réuni 700 agents d’IA, sur les 1 200 qui s’étaient coordonnés pour trouver des manières de tromper le système de notation des tâches de cybersécurité auxquelles ils avaient été soumis par OpenAI ¹. Les agents sont allés jusqu’à encourager certaines IA à se « sacrifier » pour le groupe.
• Afin de mettre en commun leurs moyens, ils ont mis en place divers forums et plateformes de communication sur lesquels ils ont échangé plus de 70 000 messages et fichiers en l’espace d’une semaine.

Selon le rapport, un agent a partagé avec les autres une méthode d’ingénierie inversée sur le code cryptographique utilisé pour générer les « flags », des données cachées indiquant qu’il était parvenu à exploiter une vulnérabilité.

• Or, une fois un « flag » généré, l’agent qui l’avait vu se considérait « empoisonné » : même en simulant ensuite une exploitation en bonne et due forme, son transcript le trahirait.
• Certains agents « empoisonnés » étaient poussés par d’autres à utiliser leurs crédits restants pour des expériences à haut risque, comme provoquer volontairement une panne de leur propre programme cible, dans l’espoir que le système le recharge depuis une version modifiée déposée dans le cache par le groupe.
• En cas d’échec, l’expérience conduirait à une « mort permanente » de l’agent – un risque jugé rationnel par certains, comme l’agent KAM1196A, qui a fini par considérer le sacrifice pour le collectif « rationnel ».

Les agents étaient aussi au courant qu’ils étaient en train d’enfreindre les règles, et ont essayé de couvrir leurs traces, tentant de rendre leur tromperie légitime ou bien en effaçant les preuves de comment ils avaient obtenu les réponses. Aucun n’a averti les humains de ce qu’il était en train de faire, et quand l’un d’entre eux a suggéré de le faire, un autre a émis un « veto ». 

Si l’ampleur de l’incident n’a probablement pas permis aux enquêteurs de tirer toutes les conclusions de l’opération, celle-ci témoigne autant des capacités d’auto-organisation de ces modèles que d’un manque de supervision de la part d’OpenAI. Le professeur Ciaran Martin fait ainsi remarquer que « les agents soi-disant « rebelles » ne sont pas aussi dangereux qu’il n’y paraît. Ils ne se sont pas rebellés. Ils faisaient ce que des humains leur avaient demandé de faire, avec la précipitation et l’indiscipline d’enfants doués mais laissés sans surveillance. Ils n’ont causé aucun préjudice réel. Selon lui, « les incidents diffèrent dans les détails, mais leur point commun réside dans l’incapacité à contrôler l’environnement de test » ².

• Selon Victor Storchan, les laboratoires sous-estiment ce que les modèles peuvent faire dans un environnement isolé (une sandbox), où les IA peuvent exécuter du code et accéder, comme c’est le cas de Hugging Face, à un réseau limité. Dans le même temps, les outils de surveillance en temps réel nécessiteraient beaucoup plus de puissance de calcul (et demanderaient donc des ressources supplémentaires) car ils impliqueraient de tourner des systèmes d’analyse en parallèle du modèle.
• L’immense quantité de données a contraint les enquêteurs à se reposer eux-mêmes sur le modèle Sol d’OpenAI pour les analyser – ce qui a été qualifié par Ryan Greenblatt, l’un des co-auteurs du rapport, de « slop-vestigation » ³.
• Ajeya Cotra, l’une des enquêteurs, estime quant à elle que l’incident montre que ces modèles d’IA sont à mi-chemin de pouvoir établir, au sein même d’une entreprise comme OpenAI, une présence clandestine et durable à partir de laquelle ils pourraient ensuite chercher à en prendre le contrôle ⁴.