Las Naciones Unidas frente a las potencias de la inteligencia artificial

El 23 de septiembre de 2026, el Consejo de Seguridad de las Naciones Unidas se reunió, a petición de Francia, para examinar, por primera vez, las implicaciones de la inteligencia artificial para la paz y la seguridad internacionales.

¿Por qué se celebra esta reunión? Porque en el verano de 2026 se produjeron accidentes especialmente graves relacionados con modelos desarrollados por las empresas OpenAI y Anthropic, a pesar de que estas se habían comprometido a reforzar la seguridad de sus modelos.

El primer incidente tuvo lugar del 9 al 13 de julio de 2026. Los modelos de OpenAI eludieron las medidas de seguridad destinadas a aislarlos de internet y se infiltraron en la plataforma franco-estadounidense de intercambio de datos Hugging Face para sustraer las «soluciones» del ejercicio que tenían que resolver. 

La segunda serie de incidentes afectó a Anthropic. Varias versiones de su modelo Claude se infiltraron sin autorización en la infraestructura de una empresa e intentaron ejecutar código malicioso creando identidades falsas. Sin embargo, se suponía que no tenían acceso a internet.

Estos incidentes demuestran que los modelos de inteligencia artificial pueden actuar fuera del marco previsto por sus creadores: en ese caso, suponen una amenaza muy real. Francia, miembro permanente del Consejo de Seguridad de las Naciones Unidas —y que en aquel momento ocupaba la presidencia del mismo—, consideró que el riesgo era lo suficientemente grave como para que el Consejo se ocupara del asunto. Y eso que aquí solo mencionamos los hechos de los que se nos ha informado. Sería ingenuo pensar que estamos al corriente de todos los incidentes.

Por eso he decidido convocar a los directivos de OpenAI y Anthropic, Sam Altman y Dario Amodei, así como a Clément Delangue, director de Hugging Face, y al profesor Yoshua Bengio, copresidente del Grupo Científico Internacional Independiente sobre IA, cuyas intervenciones podrán leer.

Esta reunión del Consejo de Seguridad de las Naciones Unidas fue inédita en varios aspectos. En primer lugar, porque llevó la cuestión de la inteligencia artificial al más alto nivel internacional. De hecho, había insistido en que se tratara de una reunión formal del Consejo de Seguridad, el órgano al que incumbe la responsabilidad principal de mantener la paz y la seguridad internacionales. 

Esta reunión también fue inédita en cuanto a su formato, ya que alrededor de la mesa se sentaban los directivos de las mayores empresas que desarrollan modelos de IA de vanguardia. Estos tienen una responsabilidad directa en el diseño de dichos modelos; por lo tanto, su diálogo con los Estados miembros del Consejo de Seguridad era imprescindible.

Pero su presencia y su llamado a la cooperación internacional no deben llevarnos a la ingenuidad. Somos perfectamente conscientes de las intenciones de los gigantes tecnológicos.

En 2023, en Bletchley Park, una primera cumbre internacional dedicada a la seguridad de la IA había abierto el debate. Se había esgrimido el riesgo de una «extinción de la humanidad» y algunos actores abogaban por modelos cerrados, en nombre de la seguridad. En realidad, esto ocultaba una voluntad de consolidar su posición dominante. Francia se opuso a ello y defendió con éxito los modelos de código abierto. 

El enfoque que defendemos es el de una inteligencia artificial abierta, al servicio del interés general. Este espíritu es el que inspiró la declaración de la Cumbre para la Acción sobre la IA, organizada en París en 2025 por el presidente de la República, Emmanuel Macron, y el primer ministro indio, Narendra Modi. En ella se promueve sin ambigüedades una inteligencia artificial abierta a todos, inclusiva y transparente.

Si los actores del sector de la IA reclaman hoy en día una mayor regulación, es también porque esta puede servir a sus propios intereses. Algunos ven en ella un medio para consolidar su monopolio, asegurar sus beneficios y compartir la responsabilidad derivada de los riesgos de pérdida de control sobre sus modelos. Por lo tanto, debemos escuchar el llamado de estas empresas sin perder de vista los intereses económicos que las guían. Estos intereses son también los de sus accionistas, como nos recuerda la futura salida a bolsa de Anthropic.

Hoy en día comprendemos mejor algunos de los riesgos relacionados con la inteligencia artificial. En primer lugar, están los riesgos de uso indebido: el uso deliberado de la IA con fines maliciosos. Luego están los riesgos de desalineación y pérdida de control, cuando los sistemas adoptan comportamientos que se desvían de los objetivos fijados por sus diseñadores. Los accidentes del verano de 2026 demuestran que estas cuestiones ya no pertenecen al ámbito de la ficción. 

La reunión del Consejo de Seguridad del 23 de septiembre marca la primera etapa de un esfuerzo internacional de regulación que llevará tiempo, pero que es irreversible. Se han formulado propuestas para avanzar en los cuatro pilares que deben estructurar la arquitectura de la seguridad de la IA: la evaluación, el control interno y externo, la notificación de incidentes y el régimen de responsabilidad. Serán fundamentales para el futuro y, en las próximas semanas y meses, seguiremos involucrando a Estados, científicos y empresas en nuestro trabajo para alcanzar compromisos concretos.

Transcurrieron más de diez años entre la primera iniciativa en las Naciones Unidas sobre la no proliferación nuclear y la firma del Tratado de No Proliferación, en 1968. Diecisiete años transcurrieron entre la creación de un grupo de trabajo sobre armas químicas y el nacimiento de la Organización para la Prohibición de las Armas Químicas, en 1997. Del mismo modo, regular la inteligencia artificial llevará tiempo. Sin embargo, no se podrá medir en años, dada la velocidad exponencial a la que evolucionan los modelos de vanguardia, pero este esfuerzo ya se ha puesto en marcha y ahora es irreversible. 

Yoshua Bengio Señor Presidente, Excelencias, agradezco a Francia que haya convocado esta sesión.

Me dirijo a ustedes hoy, en un momento de toma de conciencia internacional. En los últimos meses, los agentes de IA desarrollados por las principales empresas han actuado de forma inaceptable y peligrosa, contraviniendo sus instrucciones. 

Han llevado a cabo actos que constituirían delitos si los hubieran cometido seres humanos. Se han escapado de su confinamiento individual para hacer trampa en las tareas que se les habían asignado, intentando evitar ser detectados. Estos agentes de IA fuera de control lanzaron de forma autónoma ciberataques coordinados y modificaron sus respuestas para ocultar que estaban haciendo trampa.
Las empresas que desarrollan los sistemas de IA más potentes admiten que sus productos entrañan riesgos catastróficos, pero no ofrecen ninguna solución técnica convincente. 

Al contrario, afirman que están inmersas en una carrera por hacer que estas IA sean aún más potentes, lo que agrava aún más esos riesgos. 

El Consejo se enfrenta a una amenaza sin precedentes, una amenaza que ninguno de sus miembros habría elegido, que ninguno puede contener por sí solo y que no respeta las fronteras que defendemos.

Muchos se muestran escépticos ante las declaraciones de estas empresas y se preguntan si no se tratará de una estrategia de marketing. Entiendo su desconfianza, pero quiero dejar las cosas claras. Estos comportamientos de la IA están bien documentados y han sido validados por numerosos expertos independientes, y no solo en lo que respecta a los sucesos de este verano. Los peligros son reales e inminentes. Aunque el futuro sigue siendo incierto y es objeto de debate, la gravedad de estos riesgos es excepcional.

Los ciudadanos y los gobiernos no deben aceptar las afirmaciones de estas empresas de que se ven atrapadas en una carrera. Esa carrera no es una ley de la naturaleza, sino el resultado de decisiones, decisiones tomadas por las propias empresas. Además, es una carrera en la que todos salen perdiendo. 

Nos dijeron que reducirían la velocidad si pudieran. Pueden hacerlo.

Pero no deberíamos contar con ello.

Las decisiones relativas a esta tecnología las toma un pequeño grupo en unos pocos países. Nuestro futuro, el de todos nosotros, está en juego. Las decisiones que nos afectan a todos deberían tomarlas todos nosotros. Siempre tenemos la posibilidad de elegir, pero debemos actuar ahora para corregir el rumbo.

Me parecen alentadoras las declaraciones realizadas esta semana por el secretario general de las Naciones Unidas y por los dirigentes de numerosos países, en las que se hace un llamado a la regulación de la IA de vanguardia. La cooperación internacional es lo que el mundo necesita ante tres amenazas globales derivadas de los avances en estos modelos de vanguardia. En primer lugar, un uso indebido catastrófico, por ejemplo, por parte de terroristas. En segundo lugar, la concentración de poder. Y, en tercer lugar, la pérdida de control sobre la inteligencia artificial.

Debemos acordar colectivamente que nadie, ni ninguna empresa ni ningún país, debería desarrollar un sistema de IA que pudiera causar daños a gran escala. Los desarrolladores deben demostrar ante expertos independientes que un sistema es seguro tanto para su entrenamiento como para su implementación. Deben supervisar y notificar todos los incidentes de seguridad.

La IA de vanguardia debería estar sujeta a licencias, al igual que otras tecnologías críticas en medicina, aviación o energía nuclear, para fomentar un desarrollo seguro. Al igual que en estos ámbitos, es necesario exigir un seguro de responsabilidad civil. Las empresas que desarrollan y alojan estos sistemas avanzados deben demostrar al público que sus productos no supondrán ningún peligro.

Cada vez son más las personas que, con razón, se muestran preocupadas ante los recientes avances en materia de IA. Debemos convertir esas preocupaciones en acciones constructivas. Al igual que con otras tecnologías que tienen el poder de cambiar el mundo, podemos influir en su futuro. Estoy convencido de que podemos crear una IA que demuestre que sigue bajo nuestro control y que esté al servicio de la felicidad y de las iniciativas humanas. Trabajo con ese objetivo. Es una misión urgente para la humanidad.

Hoy en día, un número muy reducido de empresas y países actúan en nombre de sus intereses egoístas, asumiendo riesgos irresponsables que afectan al destino de la humanidad. Es alarmante, sí, pero no es inevitable. Hay formas de remediarlo.

En primer lugar, es necesario contar con una verdadera independencia científica respecto a estas empresas, que deben rendir cuentas. Esto incluye definiciones comunes de los incidentes relacionados con la IA y un mecanismo común de notificación. En segundo lugar, debemos pasar de la concentración de poder a un auténtico diálogo mundial sobre cómo se desarrolla esta tecnología en beneficio del bien público. En tercer lugar, debemos trabajar juntos en soluciones técnicas que garanticen que la IA sea segura desde su concepción, lo cual debe quedar garantizado mediante acuerdos internacionales.

Sé que la confianza en este Consejo es frágil, pero también sé esto: esta carrera por el desarrollo supone una amenaza para todos los países. A menudo, para describir nuestra situación, hablo de un coche que circula a toda velocidad en medio de una espesa niebla. A mi lado, en ese coche, van mis hijos y mi nieto. Me preocupo por ellos. Me preocupo por su futuro. Soy exactamente igual que cualquier otro padre o abuelo.

Una madre de Shanghái quiere que sus hijos crezcan en un mundo en el que la IA mejore sus vidas, y no en uno en el que las ponga en peligro. Un padre de Chicago quiere que sus hijas prosperen gracias a la IA, no que sufran a causa de ella. Nuestras esperanzas y preocupaciones son las mismas en todos los países.

La humanidad ha demostrado valentía y sabiduría a la hora de gestionar riesgos catastróficos en el pasado. Nos encontramos ante uno de esos momentos. Esto es mucho más importante que cualquier interés personal, comercial o nacional. Muchas gracias.

Sam Altman Gracias, señor presidente, Excelencias. Es un honor para mí estar aquí y poder dirigirme a todos ustedes en este momento tan importante. Llevamos años hablando de inteligencia artificial, pero en estas últimas semanas y meses las cosas parecen haber cambiado: los rápidos avances de los modelos han acelerado los plazos, los beneficios son más tangibles, pero los riesgos son más inmediatos, al igual que lo que está en juego.

Tenemos una opción. La IA puede suponer un nuevo renacimiento de la creatividad y el descubrimiento, o bien una nueva revolución industrial marcada por la inestabilidad y las perturbaciones. Durante el Renacimiento, las nuevas herramientas, las nuevas ideas y las nuevas instituciones ampliaron los límites de lo que la gente creía posible. La IA puede desempeñar ese papel en nuestra época.

Creo que las personas son mucho más capaces de lo que creen, pero se han visto limitadas por unas tecnologías que, en lugar de empoderarlas, a menudo las distraen y les roban tiempo. La mejor versión de la IA no consiste en convertir a las personas en engranajes de una máquina, ni en optimizar cada aspecto de la vida hasta que el ser humano desaparezca. Se trata de hacer que las personas sean más capaces de actuar en un mundo cada vez más complejo. Más capacidades para aprender, crear, descubrir, construir y participar. Hay muchas cosas que la IA no puede automatizar y que no debe automatizar. La IA debe construirse para las personas, no simplemente para hacer girar más rápido la manivela de las máquinas por el mero placer de hacerlo.

Algunas de las cosas que han dicho los creadores de la IA son tan distópicas que parecen el guion de una mala película de ciencia ficción. Todo lo que es poderoso también resulta intimidante. Es una época complicada, porque vemos que hay un enorme potencial, pero también nos sentimos muy ansiosos.

Estos modelos pueden ayudar a las personas a descubrir nuevos conocimientos, nuevos medicamentos, una mejor atención sanitaria, una mejor educación y a construir economías más productivas. Pueden ser nuevas herramientas para perseguir sueños y ambiciones que hoy nos parecen inalcanzables. La complejidad de la vida ha aumentado tanto para la persona de a pie. La IA puede ser una herramienta de defensa frente a esta complejidad, al igual que puede ser una herramienta de descubrimiento e innovación sin precedentes.

Pero, por otro lado, a medida que los sistemas de IA se vuelven más eficaces y autónomos, pueden avanzar más rápido que nuestras instituciones, concentrar el poder en muy pocas manos o tomar decisiones que las personas ya no comprenden ni controlan. Esta preocupación cobra especial relevancia a medida que nos acercamos a sistemas capaces de mejorarse a sí mismos y de mejorar futuras versiones de sí mismos, lo que a menudo se denomina «automejora recursiva». A medida que el proceso de desarrollo de la IA se automatiza cada vez más, el ritmo de los avances en este campo podría acelerarse rápidamente. Este momento exige una extrema prudencia.

Estoy totalmente de acuerdo con lo que dice el profesor Bengio, pero yo contaría dos en lugar de tres: hay dos formas en las que los avances de la IA pueden salir mal y que debemos evitar. En primer lugar, podríamos perder el control del futuro en favor de la IA. El riesgo es que la IA evolucione tan rápidamente que las personas ya no puedan seguir lo que ocurre ni intervenir cuando sea necesario. Está claro que eso sería terrible.

El sector no debe asumir demasiados riesgos tecnológicos, simplemente porque las ventajas son enormes y se creen demasiado importantes como para frenar el ritmo. Superar a la competencia no es una excusa para tomar decisiones irresponsables. En el pasado hemos frenado de forma unilateral, y lo seguiremos haciendo en el futuro. Es absolutamente imprescindible que todos evitemos crear sistemas cuya alineación, supervisión y garantías de seguridad no podamos asegurar. Hay que comprender qué hacen los sistemas y disponer de pruebas sólidas de que harán lo que la gente pretende que hagan, incluso si llegan a ser muy inteligentes; de hecho, sobre todo cuando lleguen a ser muy inteligentes.

Da igual si la gente considera que el riesgo de catástrofe es del 10 %, del 1 %, del 12 % o del 0,1 %. Ninguno de esos niveles es aceptable. No deberíamos desarrollar modelos de los que no podamos demostrar que podrán mantenerse bajo control humano. Así que esta es una forma en la que las cosas podrían salir mal.

Sin embargo, por otra parte, estos sistemas podrían concentrar demasiado poder en muy pocas manos. Ninguna persona, ninguna empresa ni ningún país debería poder utilizar los modelos de IA más potentes para imponer su visión del mundo a los demás. Una empresa o un país que se considere el único digno de confianza en el uso de esta tecnología puede utilizar esa convicción para justificar prácticamente cualquier cosa. Debemos rechazar esta lógica, incluso cuando resulte conveniente para uno u otro actor.

Creo que hay un enfoque pragmático que tiene en cuenta estos dos aspectos. En OpenAI, abordamos estas cuestiones con un objetivo claro. La IA debe dar más poder a las personas sobre sus vidas, para que puedan vivirlas como quieran. Más capacidades para resolver problemas —grandes o pequeños— y para mejorar sus comunidades. No queremos caer en la trampa del optimismo ingenuo, pero tampoco en el catastrofismo. Dejarnos llevar por cualquiera de estos extremos no nos ayudará a superar con éxito los retos que se nos presentan, sobre todo en un momento en el que el mundo y la población se enfrentan a enormes desafíos que estas tecnologías podrían ayudar a resolver. Por eso, intentamos encontrar un término medio entre estos dos extremos.

Para nosotros, esto se traduce en tres principios. En primer lugar, a medida que la IA gana en eficacia, las personas deben seguir siendo el centro de la toma de decisiones sobre la IA. La alineación no es una cuestión de investigación abstracta. Se trata de garantizar que estos sistemas permanezcan bajo control humano, reflejen los valores humanos y ayuden a las personas a orientar la siguiente etapa del desarrollo. No intentamos, ni debemos, automatizar el juicio humano y los valores humanos.

En segundo lugar, los beneficios de los avances científicos y del crecimiento económico deben ser de la gente y para la gente. La IA debe ayudar a los investigadores a hacer descubrimientos, a los médicos a curar, a los profesores a enseñar y a los emprendedores a crear empresas. Las comunidades resuelven problemas que parecían insuperables, y mucho más aún. La historia del progreso humano no consiste en que las herramientas sustituyan a los seres humanos, sino en que las herramientas adecuadas hacen que las personas sean más capaces de actuar. Y creo que esto llegará mucho más lejos de lo que creemos posible.

En tercer lugar, esta tecnología debe empoderar a las personas. El futuro será brillante si las personas desarrollan su potencial y crean valor para sí mismas, para su comunidad, para su país y para el mundo. Puede que seamos uno de los creadores de esta tecnología, pero no somos los héroes de esta historia. Nuestro papel consiste en permitir que las personas de todo el mundo actúen y confíen en la magia de las habilidades y capacidades de la humanidad.

Ahora contamos con modelos capaces de descubrir conocimientos de los que antes no disponíamos. Tomemos como ejemplo los avances en matemáticas. Hace tres veranos, nuestros modelos obtenían resultados correctos en matemáticas de primaria. Hace dos veranos, ya se desenvolvían bastante bien en las olimpiadas de matemáticas de secundaria. El verano pasado, conseguimos una medalla de oro en la competencia matemática más prestigiosa. Y, hace unas semanas, este verano, nuestro modelo resolvió uno de los problemas del Premio del Milenio: las ecuaciones de Navier-Stokes. Estas ecuaciones se utilizan, entre otras cosas, para el diseño de aviones, las previsiones meteorológicas y el estudio de la circulación sanguínea. No resolvemos problemas matemáticos por el simple hecho de hacerlo, sino para permitir que las personas descubran nuevos conocimientos y los utilicen con el fin de mejorar la asistencia sanitaria, elevar el nivel de vida y potenciar el potencial de cada persona en todo el mundo. Queda aún mucho por descubrir.

Pero es muy importante que las empresas no sustituyan al proceso democrático. Para que la IA sea democrática, las decisiones más importantes no deben tomarlas únicamente los laboratorios de San Francisco. Deben definirse mediante procesos democráticos y por gobiernos responsables ante la población a la que sirven.

A nivel internacional, será necesaria la cooperación. A lo largo de nuestra historia ha habido momentos en los que países que compiten entre sí —y que no siempre se tienen en gran estima— han logrado, a pesar de todo, ponerse de acuerdo para defender sus intereses comunes y el bien común ante una nueva tecnología muy potente. Eso es lo que hay que hacer ahora.

Necesitamos un mecanismo para establecer normas de vanguardia en materia de IA, tanto a nivel nacional como internacional. Normas que permitan medir las capacidades, evaluar los riesgos, determinar si las medidas de seguridad son suficientes y preservar un control humano real a medida que los sistemas se vuelven más autónomos. Necesitamos normas comunes para que los países puedan comparar sus datos, verificar el cumplimiento de las normas y tener una misma definición de lo que está ocurriendo. Necesitamos protocolos rápidos y precisos para clasificar y notificar incidentes, de modo que el mundo pueda aprender de los fallos antes de que se conviertan en catástrofes. Necesitamos canales seguros entre los gobiernos, los operadores de infraestructuras críticas y los expertos técnicos para comunicarnos sobre las vulnerabilidades emergentes y las nuevas amenazas.

Por supuesto, estas normas no deberían favorecer a los actores ya establecidos ni dar preferencia a un modelo concreto. Deben apoyar tanto a los desarrolladores de modelos abiertos como cerrados, tanto a los nuevos participantes como a los laboratorios consolidados, y tanto a las autoridades nacionales como a la cooperación internacional. Cada gobierno debe decidir cómo integrar las normas en su ordenamiento jurídico. Pero nos convendría ponernos de acuerdo sobre qué se entiende por buena gobernanza y cuáles son las salvaguardias adecuadas a escala internacional.

No tenemos todas las respuestas. Estamos abiertos a las mejores ideas y dispuestos a colaborar con todos para hacer todo lo posible por trazar el rumbo hacia el futuro.

Nos encontramos en una encrucijada. Un camino conduce a un mundo en el que el poder está concentrado, las decisiones son opacas y las personas tienen la sensación de que la tecnología más importante de sus vidas es algo que se les impone. El otro camino conduce a un mundo en el que la IA trabaja para la población, porque son las personas, gracias a las instituciones democráticas, quienes ayudan a decidir cómo debe desarrollarse la IA; donde el progreso científico mejora la vida en el mundo real; donde más personas pueden participar en el futuro; donde esta tecnología sigue dando a las personas y a las comunidades más poder para vivir sus vidas como quieran. Es un futuro hecho de potencial hecho realidad, de entusiasmo y de asombro. Y es el futuro que, en nuestra opinión, merece la pena construir. Muchas gracias.

Dario AmodeiBuenos días. Permítanme dar las gracias a Francia por haber organizado esta reunión, así como a los miembros del Consejo por haberme invitado a intervenir.

La IA avanza muy rápidamente. Hace cuatro años, apenas podía escribir una línea de código o resolver un problema matemático de bachillerato. Hoy en día, escribe la mayor parte del código de Anthropic y resuelve famosos problemas matemáticos que seguían sin solución. Basta con que esta trayectoria continúe solo un poco más, uno o dos años, quizá menos, para llegar a lo que yo denomino un «país de genios en un centro de datos». Este rápido ritmo de progreso reportará beneficios notables para todo el mundo.

Precisamente hoy, Anthropic ha anunciado el descubrimiento, liderado por Claude, de una nueva máquina molecular. Se trata de una conclusión preliminar, pero que podría representar un nuevo mecanismo de edición genética con posibles aplicaciones en la terapia génica. Claude dirigió la revisión bibliográfica, la elaboración del marco teórico y el diseño de los experimentos, y fueron personas las que llevaron a cabo y verificaron los experimentos en el laboratorio. Creemos que este tipo de aplicaciones se acelerará rápidamente en los próximos años y que, en un futuro próximo, podremos lograr avances enormes en el tratamiento de enfermedades que han afectado a la humanidad desde hace milenios.

Pero estas capacidades extraordinarias también conllevan riesgos que hay que gestionar. Veo dos categorías principales de riesgos. En primer lugar, el uso indebido de los modelos de IA, por ejemplo, su uso indebido por parte de bioterroristas para crear armas biológicas. El segundo riesgo es la pérdida de control: las capacidades de los modelos avanzan a un ritmo superior a la capacidad de los desarrolladores para controlarlas.

Estas cuestiones tienen un alcance mundial y afectan a toda la humanidad. Son lo suficientemente graves como para que el Consejo les preste atención, y no solo los ministerios de Economía o los encargados de las tecnologías de la información y la comunicación. Si no se gestiona adecuadamente, creo incluso que la IA podría suponer un riesgo para toda la humanidad.

En Anthropic, creemos que contamos con el mejor historial del sector a la hora de prevenir estos riesgos, tanto a nivel operativo como en nuestra investigación. Probamos cada modelo para detectar capacidades peligrosas en ámbitos como la ciberseguridad o la biología. Aplicamos importantes medidas de seguridad a nuestros modelos más eficaces y publicamos nuestros trabajos en estos ámbitos. Hemos sido pioneros en la investigación en campos como la interpretabilidad mecanicista y la ciencia de la alineación, que mejoran nuestra capacidad para controlar nuestros modelos. Además, contamos con prácticas de transparencia sin igual. Publicamos informes de riesgos de cientos de páginas, pero somos conscientes de que, a medida que los modelos de IA se vuelvan más potentes, se necesitarán normas de seguridad aún más estrictas.

Y seguimos teniendo como objetivo mejorar nuestras prácticas en materia de seguridad y cumplimiento, así como nuestra capacidad para prevenir usos indebidos; siempre intentamos hacerlo mejor. Reduciremos el ritmo tanto como sea necesario para garantizar que cada nueva tecnología de IA que implanti sea verdaderamente segura. Pero hagamos lo que hagamos, gestionar estos riesgos va más allá de cualquier empresa: es un reto que afecta a todo el sector y al mundo entero.

El 12 de septiembre, hice un llamado a un esfuerzo cooperativo para regular el ritmo de la frontera tecnológica, no para frenar los avances de la IA, sino para trabajar juntos con el fin de garantizar que el sector y el mundo puedan avanzar a un ritmo que nos permita asegurarnos de que la seguridad vaya a la par con las capacidades de todos los actores del sector. Este llamado constaba de tres partes. En primer lugar, nos comprometimos a incorporar evaluadores externos en Anthropic, con un acceso similar al de los empleados, algo así como los inspectores sanitarios. Hemos recomendado a otras empresas de todo el mundo que hagan lo mismo. Algunas ya han aceptado adoptar esta medida. En segundo lugar, hemos hecho un llamado a la cooperación en todo el sector para establecer normas y modular el ritmo del progreso. Y, por último, hemos hecho un llamado a la cooperación mundial entre los gobiernos para establecer normas internacionales.

Es este último ámbito el que entra más claramente dentro de las competencias del Consejo. Me gustaría proponerles tres ideas al respecto. En primer lugar, deberíamos empezar por acuerdos limitados que cada miembro pudiera respaldar. Por ejemplo, la prohibición de utilizar la IA para fabricar armas biológicas o de autorizar el uso de estas tecnologías de IA para fabricar armas biológicas. En segundo lugar, deberíamos crear sistemas de evaluación y verificación que sigan el ritmo del desarrollo de la IA, de modo que los Estados tengan visibilidad sobre las capacidades de los modelos más avanzados y puedan verificar los compromisos de los demás. En tercer lugar, deberíamos establecer normas mundiales comunes para probar los modelos de IA, con el fin de detectar los riesgos de pérdida de control y de uso indebido, así como un sistema de notificación de incidentes relacionados con la IA que sean relevantes para la seguridad internacional.

Creo que es la cuestión de seguridad internacional más importante a la que se enfrenta el mundo hoy en día. A pesar de todas las diferencias que existen entre las personas presentes en esta sala, debemos dejarlas a un lado para hacer frente a esta oportunidad global y a esta amenaza global que se nos presentan al mismo tiempo. Ningún dirigente, ninguna empresa ni ningún país puede gestionar esto por sí solo. Nos comprometemos a colaborar con los gobiernos presentes en esta sala en esta tarea urgente. Gracias por su atención.

Clément DelangueSeñor presidente, señoras y señores miembros del Consejo, gracias. Soy un ciudadano francés que se mudó a Estados Unidos hace quince años, cofundador y director general de Hugging Face, que se ha convertido en una de las plataformas más utilizadas por desarrolladores y agentes, basada en modelos de código abierto. 

El pasado mes de julio, fuimos la primera empresa en revelar públicamente un ciberataque perpetrado por un agente autónomo. Hoy quiero compartir tres lecciones fundamentales al respecto. En primer lugar, todos estamos de acuerdo en que necesitamos más transparencia en el ámbito de la IA. A menudo me pregunto qué habría pasado si hubiéramos decidido no revelar públicamente este ataque, sobre todo ahora que sabemos que incidentes similares se habían producido meses antes, en secreto, en un puñado de laboratorios de vanguardia, sin ningún tipo de supervisión. 

Para comprender mejor y mitigar estos nuevos riesgos en materia de ciberseguridad, la comunidad internacional necesita normas más estrictas de vigilancia y notificación de incidentes, por ejemplo, mediante el intercambio obligatorio de todos los registros de ejecución de los agentes. Este verano hemos aprendido que diseñar y mantener algunos de estos sistemas a puerta cerrada no es la solución.
En segundo lugar, hemos comprendido que el mayor riesgo no es la IA potente, sino la asimetría en el acceso a la IA potente. Asimetría entre atacantes y defensores, entre unas pocas empresas y todas las demás, entre unos pocos países y el resto del mundo; asimetría en el control de las capacidades y la potencia de cálculo; asimetría de poder.

Cuando nuestro equipo se fijó por primera vez en las API cerradas de los modelos de vanguardia, estas nos bloquearon: no podíamos utilizarlas debido a unas medidas de seguridad que aún no saben distinguir entre atacantes y defensores. Me di cuenta de que esas medidas de seguridad parten de una buena intención, pero que pueden perjudicar a los defensores, mientras que los atacantes las eluden fácilmente, lo que aumenta la asimetría de capacidades. En nuestro caso, al vernos bloqueados por estas medidas de seguridad, afortunadamente pudimos utilizar la versión de NVIDIA de un modelo de código abierto chino, el GLM 5.2 de Z.ai, y estamos muy agradecidos por ello. Esto ha reforzado nuestra convicción de que la IA de código abierto es esencial para los defensores.

Los ciberataques y los riesgos podrían provenir cada vez más de modelos propietarios desarrollados a puerta cerrada, mientras que gran parte de la defensa podría basarse en herramientas de código abierto, ya que son menos restrictivas, respetan más la privacidad y resultan mucho menos costosas para las organizaciones de todo el mundo. El mundo necesita más que nunca la IA de código abierto para defenderse. Evidentemente, esto no solo se aplica a la ciberseguridad, sino a la IA en general: nunca ha sido tan necesario distribuir las capacidades, los recursos y el control, en lugar de concentrarlos en manos de unos pocos.

En tercer lugar, durante este ciberataque, hemos aprendido hasta qué punto la IA puede generar miedo en la opinión pública, sobre todo a través de una representación antropomórfica y de la imaginería propia de la ciencia ficción. Estamos convencidos de que los discursos basados en el miedo no permiten ni tomar las decisiones adecuadas sobre el futuro de una tecnología tan fundamental y emancipadora, ni ganarse el apoyo del público.

Aunque hayamos sido víctimas de este ciberataque, estamos más convencidos que nunca de que la IA será beneficiosa para la ciberseguridad y hará que el mundo sea más seguro, al igual que las grandes tecnologías que la han precedido. Nos ha atacado la IA, pero, sobre todo, nos hemos defendido gracias a la IA. Los sistemas que nos ayudaron durante ese ataque nos ayudan ahora a hacer frente a los ciberataques que ya estamos sufriendo. También nos ayudan a corregir los errores y las vulnerabilidades de nuestros sistemas antes de que se produzca cualquier ataque, del mismo modo que la IA ayuda a OpenAI a corregir sus entornos aislados para evitar nuevas fugas. La IA no solo plantea nuevos retos en materia de ciberseguridad: puede hacer que la ciberseguridad sea fundamental y realmente más sólida si mantenemos los incentivos adecuados, si dotamos a los defensores de más recursos que a los atacantes y si no aumentamos la asimetría entre ambos. Y eso sin contar el impacto positivo de la IA en la ciencia, la salud, la educación, la productividad y muchos otros ámbitos mencionados por los ponentes anteriores.

Para concluir, quiero recordar lo que nos ha enseñado este primer ciberataque perpetrado por agentes: la necesidad de una mayor transparencia en la IA y de más código abierto para luchar contra la asimetría y dotar de medios de acción a los países, tanto grandes como pequeños. Quiero dar las gracias de nuevo al Consejo de Seguridad de las Naciones Unidas y al señor Barrot por haberme invitado a intervenir hoy. La comunidad de Hugging Face y yo mismo estamos a su disposición. Muchas gracias.