¿Qué lecciones se pueden extraer del ataque informático a Hugging Face perpetrado por agentes de OpenAI?

Un mes después de que OpenAI revelara el ciberataque llevado a cabo de forma autónoma y sin supervisión por sus modelos de inteligencia artificial contra la plataforma Hugging Face, un nuevo informe independiente elaborado por METR y Redwood Research desvela los entresijos de la operación, ya que el alcance del ataque fue mucho mayor de lo que se había revelado inicialmente.

• En el ataque participaron 700 agentes de IA, de los 1.200 que se habían coordinado para encontrar formas de engañar al sistema de puntuación de las tareas de ciberseguridad que OpenAI les había asignado ¹. Los agentes llegaron incluso a animar a algunas IA a «sacrificarse» por el grupo.
• Con el fin de poner en común sus recursos, han creado diversos foros y plataformas de comunicación en los que han intercambiado más de 70.000 mensajes y archivos en el plazo de una semana.

Según el informe, un agente compartió con los demás un método de ingeniería inversa aplicado al código criptográfico utilizado para generar los «flags», unos datos ocultos que indicaban que había logrado aprovechar una vulnerabilidad.

• Sin embargo, una vez generado un «flag», el agente que lo había visto se consideraba «contaminado»: aunque luego simulara una explotación en toda regla, su transcripción lo delataría.
• Algunos agentes «envenenados» eran incitados por otros a utilizar sus créditos restantes en experimentos de alto riesgo, como provocar deliberadamente un fallo en su propio programa objetivo, con la esperanza de que el sistema lo recargara a partir de una versión modificada que el grupo había almacenado en la caché.
• En caso de fracaso, el experimento provocaría la «muerte permanente» del agente, un riesgo que algunos, como el agente KAM1196A, consideraban racional, hasta el punto de que este acabó considerando «racional» el sacrificio por el bien del colectivo.

Los agentes también eran conscientes de que estaban infringiendo las normas e intentaron borrar sus huellas, ya fuera tratando de legitimar su engaño o eliminando las pruebas de cómo habían obtenido las respuestas. Ninguno avisó a los humanos de lo que estaba haciendo, y cuando uno de ellos sugirió hacerlo, otro puso «veto». 

Aunque es probable que la magnitud del incidente no haya permitido a los investigadores extraer todas las conclusiones de la operación, esta pone de manifiesto tanto las capacidades de autoorganización de estos modelos como una falta de supervisión por parte de OpenAI. El profesor Ciaran Martin señala así que «los agentes supuestamente ‘rebeldes’ no son tan peligrosos como parecen. No se rebelaron. Hacían lo que los humanos les habían pedido que hicieran, con la precipitación y la indisciplina de niños superdotados pero desatendidos. No causaron ningún perjuicio real. Según él, «los incidentes difieren en los detalles, pero su punto en común radica en la incapacidad de controlar el entorno de prueba» ².

• Según Victor Storchan, los laboratorios subestiman lo que los modelos pueden hacer en un entorno aislado (un «sandbox»), donde las IA pueden ejecutar código y acceder, como ocurre con Hugging Face, a una red limitada. Al mismo tiempo, las herramientas de supervisión en tiempo real requerirían mucha más potencia de cálculo (y, por lo tanto, demandarían recursos adicionales), ya que implicarían ejecutar sistemas de análisis en paralelo al modelo.
• La enorme cantidad de datos obligó a los investigadores a recurrir ellos mismos al modelo Sol de OpenAI para analizarlos, lo que Ryan Greenblatt, uno de los coautores del informe, calificó de «slop-vestigation» ³.
• Ajeya Cotra, una de las investigadoras, considera por su parte que el incidente demuestra que estos modelos de IA están a medio camino de poder establecer, dentro de una propia empresa como OpenAI, una presencia clandestina y duradera desde la que podrían intentar posteriormente hacerse con el control ⁴.