«Para sobrevivir, debemos coordinarnos para frenar la carrera de la IA»

Se han publicado muchas cartas abiertas sobre los riesgos de la IA. La que se publicó esta noche con el título «Pacing the Frontier» —en español: «regular el ritmo de la vanguardia tecnológica»— es inédita en tres aspectos. ¹.

En primer lugar, su origen. Aunque cuenta con el respaldo de dos ONG (Guidelight AI Standards y Encode AI), el impulso principal no provino de académicos externos, sino del interior de los laboratorios de vanguardia (OpenAI, Anthropic, Google DeepMind), que posteriormente ampliaron la recolección de firmas. Además, la adhesión no se limitó a nivel individual: en las horas siguientes a la publicación, OpenAI y Anthropic se sumaron al texto como empresas.

En cuanto a su composición. Entre los 1.178 firmantes (a 28 de julio), no solo se encuentran investigadores especializados en seguridad de la IA —que ya desempeñan un papel cada vez más importante dentro de las propias grandes empresas—, sino también aquellos cuyo trabajo diario consiste precisamente en impulsar: los directores científicos de OpenAI, Meta AI y Thinking Machines, tres cofundadores de Anthropic y su director general.

Su motivación, por último. Desde diciembre-enero, las grandes empresas tecnológicas han automatizado en gran medida la investigación en inteligencia artificial y el ciclo de desarrollo de los modelos. A partir de ahora, cada generación contribuye a diseñar la siguiente: es lo que se conoce como dinámica de automejora recursiva (Recursive Self-Improvement, o RSI). El ritmo del progreso deja de estar limitado por el tiempo humano, y esta aceleración reduce el margen de tiempo durante el cual las instituciones pueden observar, evaluar y decidir intervenir.

Jason Wolfe, que trabaja en el ámbito de la alineación en OpenAI, recuerda que muchos expertos consideran plausible que se produzca una «explosión de inteligencia» de aquí a dos años. ² Esta preocupación no es exclusiva de individuos aislados. El mes pasado, Anthropic publicó un informe sobre la superación recursiva en el que la empresa estima que los sistemas podrían diseñar y perfeccionar a sus propios sucesores, y concluye que sería importante que el mundo tuviera la posibilidad de ralentizar o suspender temporalmente el desarrollo de vanguardia. ³ La petición es la traducción política de esta investigación.

Leo Gao, investigador de OpenAI, lo expresa de forma más cruda en el comentario que acompaña a su firma: «El mundo se encuentra sumido en una carrera mortal hacia una explosión de la inteligencia, en la que la capacidad de la IA para crear IA cada vez más potentes alcanza un punto crítico, como una reacción nuclear en cadena incontrolable. Dado que ningún actor está dispuesto a detenerse por su cuenta, debemos coordinar nuestros esfuerzos para frenar esta carrera si queremos sobrevivir». ⁴

La IA podría contribuir a crear un futuro radicalmente mejor, pero este resultado no está garantizado. Las principales empresas mundiales especializadas en IA estiman que podrían estar a punto de automatizar la investigación. Es difícil predecir con exactitud en qué medida esto acelerará los avances de la IA, pero existe un riesgo real de que el desarrollo de estas capacidades se acelere rápidamente, más allá de nuestra capacidad para comprender o controlar los sistemas resultantes.

El director ejecutivo de OpenAI, Sam Altman, ha anunciado que ha suspendido el entrenamiento del modelo responsable del hacking a Hugging Face, mientras se refuerza la seguridad de los sandboxes, esos entornos de ejecución aislados en los que un sistema de IA puede ejecutar código y actuar, con un acceso a la red deliberadamente restringido. A modo de recordatorio: el 21 de julio, OpenAI reveló que GPT-5.6 Sol y un modelo no publicado se escaparon por sí solos de un entorno de evaluación, llegaron a internet y comprometieron el sistema de producción de Hugging Face para robar la solución del benchmark ExploitGym. Medidas de seguridad cibernéticas deliberadamente reducidas, vulnerabilidad de día cero en un proxy de registro de paquetes, escalada de privilegios. Hugging Face había detectado y detenido la intrusión por su cuenta, sin saber quién la había lanzado. Por lo tanto, un laboratorio aún puede pisar el freno, de forma puntual, en su propio entorno. La petición plantea la siguiente pregunta: ¿quién puede hacerlo a escala de todo el sector y siguiendo qué procedimiento?

Para que la IA cumpla sus promesas, es posible que las empresas, los Estados y la sociedad en su conjunto tengan que darse un respiro: el tiempo necesario para hacer frente a los riesgos que surjan, establecer medidas de protección y reforzar los controles. Sin embargo, la competencia es tal que ninguna empresa —ni ningún país— puede permitirse el lujo de bajar el ritmo por su cuenta.

El texto se publica al día siguiente del anuncio, por parte de NVIDIA, de la Open Secure AI Alliance, en la que no participan ni OpenAI, ni Anthropic, ni Google DeepMind. Algunos actores, como Thinking Machines, figuran en ambas iniciativas. La alianza de NVIDIA apuesta por el código abierto y la transparencia como mecanismos de seguridad, mientras que Dario Amodei rebate frontalmente esta interpretación en su postura sobre los modelos de pesos abiertos. ⁵ Dos bandos, por tanto, que no discrepan sobre la existencia del riesgo, sino sobre la herramienta para abordarlo. 

Y hoy en día, a escala mundial, no disponemos ni de las herramientas técnicas ni de los marcos de gobernanza que permitirían fijar de forma consciente el ritmo al que avanza el conjunto del ámbito de la investigación.

En línea con los esfuerzos ya emprendidos para estar al día de la publicación de los modelos más avanzados:

Pedimos al gobierno de Estados Unidos que respalde una iniciativa internacional destinada a crear las herramientas técnicas y de gobernanza que permitan marcar de forma consciente el ritmo del desarrollo automatizado de la IA.

El gobierno estadounidense sostiene que una gobernanza internacional pondría en desventaja a Estados Unidos frente a China. David Sachs, el «zar de la IA» de Donald Trump, acusó recientemente a Anthropic de «captura regulatoria basada en el miedo». En el Congreso, Ted Lieu vinculó inmediatamente el texto a su proyecto de ley bipartidista sobre un «interruptor de emergencia». La comparación con la carta «Pausa IA» de 2023 permite comprender este cambio de rumbo. Redactada principalmente por investigadores en seguridad ajenos a los grandes laboratorios, no la había firmado ningún directivo de OpenAI, Anthropic o Google DeepMind (Elon Musk la había firmado cuatro meses antes de fundar xAI), pero contaba con firmantes chinos de primer orden, como Ya-Qin Zhang (ex-Baidu, Tsinghua) o el premio Turing Andrew Yao. Así pues, la situación se ha invertido: el centro de gravedad ha pasado del exterior al interior de los laboratorios, y la dimensión internacional se ha visto mermada. En el fondo, la petición también es más modesta, lo que quizá la hace más aceptable: no se trata de ralentizar, sino de dotarse de la posibilidad de hacerlo, una opción que podría activarse el día en que alguien considere que es necesario.

– 1.178 empleados de empresas punteras en el ámbito de la IA

Esta cifra aún puede variar, ya que el formulario sigue abierto. La inscripción debe validarse mediante una dirección de correo electrónico profesional o un justificante de empleo. La densidad jerárquica es inusual: un director general, tres cofundadores de Anthropic, los directores científicos de OpenAI, Meta AI y Thinking Machines, así como la responsable de seguridad de la IA en Google. El texto ha sido publicado por empleados de estas empresas, con el apoyo logístico de dos ONG: Guidelight AI Standards y Encode AI.

Y lo que es aún más destacable: en las horas posteriores a la publicación, OpenAI y Anthropic respaldaron el texto como empresas. OpenAI escribió que, llegado un momento, la aceleración podría ser tal que el mundo se viera obligado a regular su ritmo. Por lo tanto, no se trata de una rebelión interna, sino de una postura defendida conjuntamente por los empleados y sus direcciones.

El día anterior, Dario Amodei, uno de los firmantes del texto, publicó una carta en la que reiteraba la necesidad de utilizar la IA para reforzar las democracias frente a China y las potencias autoritarias. Sin embargo, parece que los laboratorios chinos no han tenido la oportunidad de firmar. Esta contradicción es difícil de sortear: un control del ritmo que no fuera mundial no controlaría nada en absoluto y, por lo tanto, supondría un acuerdo por parte de Pekín. Un acuerdo que China podría, además, utilizar para recuperar su retraso en la producción de chips.