Me dirijo a ustedes hoy, en un momento de toma de conciencia internacional. En los \u00faltimos meses, los agentes de IA desarrollados por las principales empresas han actuado de forma inaceptable y peligrosa, contraviniendo sus instrucciones. <\/p>\n\n\n\n
Han llevado a cabo actos que constituir\u00edan delitos si los hubieran cometido seres humanos. Se han escapado de su confinamiento individual para hacer trampa en las tareas que se les hab\u00edan asignado, intentando evitar ser detectados. Estos agentes de IA fuera de control lanzaron de forma aut\u00f3noma ciberataques coordinados y modificaron sus respuestas para ocultar que estaban haciendo trampa.
Las empresas que desarrollan los sistemas de IA m\u00e1s potentes admiten que sus productos entra\u00f1an riesgos catastr\u00f3ficos, pero no ofrecen ninguna soluci\u00f3n t\u00e9cnica convincente. <\/p>\n\n\n\n
Al contrario, afirman que est\u00e1n inmersas en una carrera por hacer que estas IA sean a\u00fan m\u00e1s potentes, lo que agrava a\u00fan m\u00e1s esos riesgos. <\/p>\n\n\n\n
El Consejo se enfrenta a una amenaza sin precedentes, una amenaza que ninguno de sus miembros habr\u00eda elegido, que ninguno puede contener por s\u00ed solo y que no respeta las fronteras que defendemos.<\/p>\n\n\n\n
Muchos se muestran esc\u00e9pticos ante las declaraciones de estas empresas y se preguntan si no se tratar\u00e1 de una estrategia de marketing. Entiendo su desconfianza, pero quiero dejar las cosas claras. Estos comportamientos de la IA est\u00e1n bien documentados y han sido validados por numerosos expertos independientes, y no solo en lo que respecta a los sucesos de este verano. Los peligros son reales e inminentes. Aunque el futuro sigue siendo incierto y es objeto de debate, la gravedad de estos riesgos es excepcional.<\/p>\n\n\n\n
Los ciudadanos y los gobiernos no deben aceptar las afirmaciones de estas empresas de que se ven atrapadas en una carrera. Esa carrera no es una ley de la naturaleza, sino el resultado de decisiones, decisiones tomadas por las propias empresas. Adem\u00e1s, es una carrera en la que todos salen perdiendo. <\/p>\n\n\n\n
Nos dijeron que reducir\u00edan la velocidad si pudieran. Pueden hacerlo.<\/p>\n\n\n\n
Pero no deber\u00edamos contar con ello.<\/p>\n\n\n\n
Las decisiones relativas a esta tecnolog\u00eda las toma un peque\u00f1o grupo en unos pocos pa\u00edses. Nuestro futuro, el de todos nosotros, est\u00e1 en juego. Las decisiones que nos afectan a todos deber\u00edan tomarlas todos nosotros. Siempre tenemos la posibilidad de elegir, pero debemos actuar ahora para corregir el rumbo.<\/p>\n\n\n\n\n\n Me parecen alentadoras las declaraciones realizadas esta semana por el secretario general de las Naciones Unidas y por los dirigentes de numerosos pa\u00edses, en las que se hace un llamado a la regulaci\u00f3n de la IA de vanguardia. La cooperaci\u00f3n internacional es lo que el mundo necesita ante tres amenazas globales derivadas de los avances en estos modelos de vanguardia. En primer lugar, un uso indebido catastr\u00f3fico, por ejemplo, por parte de terroristas. En segundo lugar, la concentraci\u00f3n de poder. Y, en tercer lugar, la p\u00e9rdida de control sobre la inteligencia artificial.<\/p>\n\n\n\n Debemos acordar colectivamente que nadie, ni ninguna empresa ni ning\u00fan pa\u00eds, deber\u00eda desarrollar un sistema de IA que pudiera causar da\u00f1os a gran escala. Los desarrolladores deben demostrar ante expertos independientes que un sistema es seguro tanto para su entrenamiento como para su implementaci\u00f3n. Deben supervisar y notificar todos los incidentes de seguridad.<\/p>\n\n\n\n La IA de vanguardia deber\u00eda estar sujeta a licencias, al igual que otras tecnolog\u00edas cr\u00edticas en medicina, aviaci\u00f3n o energ\u00eda nuclear, para fomentar un desarrollo seguro. Al igual que en estos \u00e1mbitos, es necesario exigir un seguro de responsabilidad civil. Las empresas que desarrollan y alojan estos sistemas avanzados deben demostrar al p\u00fablico que sus productos no supondr\u00e1n ning\u00fan peligro.<\/p>\n\n\n\n Cada vez son m\u00e1s las personas que, con raz\u00f3n, se muestran preocupadas ante los recientes avances en materia de IA. Debemos convertir esas preocupaciones en acciones constructivas. Al igual que con otras tecnolog\u00edas que tienen el poder de cambiar el mundo, podemos influir en su futuro. Estoy convencido de que podemos crear una IA que demuestre que sigue bajo nuestro control y que est\u00e9 al servicio de la felicidad y de las iniciativas humanas. Trabajo con ese objetivo. Es una misi\u00f3n urgente para la humanidad.<\/p>\n\n\n\n Hoy en d\u00eda, un n\u00famero muy reducido de empresas y pa\u00edses act\u00faan en nombre de sus intereses ego\u00edstas, asumiendo riesgos irresponsables que afectan al destino de la humanidad. Es alarmante, s\u00ed, pero no es inevitable. Hay formas de remediarlo.<\/p>\n\n\n\n En primer lugar, es necesario contar con una verdadera independencia cient\u00edfica respecto a estas empresas, que deben rendir cuentas. Esto incluye definiciones comunes de los incidentes relacionados con la IA y un mecanismo com\u00fan de notificaci\u00f3n. En segundo lugar, debemos pasar de la concentraci\u00f3n de poder a un aut\u00e9ntico di\u00e1logo mundial sobre c\u00f3mo se desarrolla esta tecnolog\u00eda en beneficio del bien p\u00fablico. En tercer lugar, debemos trabajar juntos en soluciones t\u00e9cnicas que garanticen que la IA sea segura desde su concepci\u00f3n, lo cual debe quedar garantizado mediante acuerdos internacionales.<\/p>\n\n\n\n S\u00e9 que la confianza en este Consejo es fr\u00e1gil, pero tambi\u00e9n s\u00e9 esto: esta carrera por el desarrollo supone una amenaza para todos los pa\u00edses. A menudo, para describir nuestra situaci\u00f3n, hablo de un coche que circula a toda velocidad en medio de una espesa niebla. A mi lado, en ese coche, van mis hijos y mi nieto. Me preocupo por ellos. Me preocupo por su futuro. Soy exactamente igual que cualquier otro padre o abuelo.<\/p>\n\n\n\n Una madre de Shangh\u00e1i quiere que sus hijos crezcan en un mundo en el que la IA mejore sus vidas, y no en uno en el que las ponga en peligro. Un padre de Chicago quiere que sus hijas prosperen gracias a la IA, no que sufran a causa de ella. Nuestras esperanzas y preocupaciones son las mismas en todos los pa\u00edses.<\/p>\n\n\n\n La humanidad ha demostrado valent\u00eda y sabidur\u00eda a la hora de gestionar riesgos catastr\u00f3ficos en el pasado. Nos encontramos ante uno de esos momentos. Esto es mucho m\u00e1s importante que cualquier inter\u00e9s personal, comercial o nacional. Muchas gracias.<\/p>\n\n\n\n\n\n Sam Altman<\/span><\/strong> Gracias, se\u00f1or presidente, Excelencias. Es un honor para m\u00ed estar aqu\u00ed y poder dirigirme a todos ustedes en este momento tan importante. Llevamos a\u00f1os hablando de inteligencia artificial, pero en estas \u00faltimas semanas y meses las cosas parecen haber cambiado: los r\u00e1pidos avances de los modelos han acelerado los plazos, los beneficios son m\u00e1s tangibles, pero los riesgos son m\u00e1s inmediatos, al igual que lo que est\u00e1 en juego.<\/p>\n\n\n\n Tenemos una opci\u00f3n. La IA puede suponer un nuevo renacimiento de la creatividad y el descubrimiento, o bien una nueva revoluci\u00f3n industrial marcada por la inestabilidad y las perturbaciones. Durante el Renacimiento, las nuevas herramientas, las nuevas ideas y las nuevas instituciones ampliaron los l\u00edmites de lo que la gente cre\u00eda posible. La IA puede desempe\u00f1ar ese papel en nuestra \u00e9poca.<\/p>\n\n\n\n Creo que las personas son mucho m\u00e1s capaces de lo que creen, pero se han visto limitadas por unas tecnolog\u00edas que, en lugar de empoderarlas, a menudo las distraen y les roban tiempo. La mejor versi\u00f3n de la IA no consiste en convertir a las personas en engranajes de una m\u00e1quina, ni en optimizar cada aspecto de la vida hasta que el ser humano desaparezca. Se trata de hacer que las personas sean m\u00e1s capaces de actuar en un mundo cada vez m\u00e1s complejo. M\u00e1s capacidades para aprender, crear, descubrir, construir y participar. Hay muchas cosas que la IA no puede automatizar y que no debe automatizar. La IA debe construirse para las personas, no simplemente para hacer girar m\u00e1s r\u00e1pido la manivela de las m\u00e1quinas por el mero placer de hacerlo.<\/p>\n\n\n\n Algunas de las cosas que han dicho los creadores de la IA son tan dist\u00f3picas que parecen el guion de una mala pel\u00edcula de ciencia ficci\u00f3n. Todo lo que es poderoso tambi\u00e9n resulta intimidante. Es una \u00e9poca complicada, porque vemos que hay un enorme potencial, pero tambi\u00e9n nos sentimos muy ansiosos.<\/p>\n\n\n\n Estos modelos pueden ayudar a las personas a descubrir nuevos conocimientos, nuevos medicamentos, una mejor atenci\u00f3n sanitaria, una mejor educaci\u00f3n y a construir econom\u00edas m\u00e1s productivas. Pueden ser nuevas herramientas para perseguir sue\u00f1os y ambiciones que hoy nos parecen inalcanzables. La complejidad de la vida ha aumentado tanto para la persona de a pie. La IA puede ser una herramienta de defensa frente a esta complejidad, al igual que puede ser una herramienta de descubrimiento e innovaci\u00f3n sin precedentes.<\/p>\n\n\n\n Pero, por otro lado, a medida que los sistemas de IA se vuelven m\u00e1s eficaces y aut\u00f3nomos, pueden avanzar m\u00e1s r\u00e1pido que nuestras instituciones, concentrar el poder en muy pocas manos o tomar decisiones que las personas ya no comprenden ni controlan. Esta preocupaci\u00f3n cobra especial relevancia a medida que nos acercamos a sistemas capaces de mejorarse a s\u00ed mismos y de mejorar futuras versiones de s\u00ed mismos, lo que a menudo se denomina \u00abautomejora recursiva\u00bb. A medida que el proceso de desarrollo de la IA se automatiza cada vez m\u00e1s, el ritmo de los avances en este campo podr\u00eda acelerarse r\u00e1pidamente. Este momento exige una extrema prudencia.<\/p>\n\n\n\n Estoy totalmente de acuerdo con lo que dice el profesor Bengio, pero yo contar\u00eda dos en lugar de tres: hay dos formas en las que los avances de la IA pueden salir mal y que debemos evitar. En primer lugar, podr\u00edamos perder el control del futuro en favor de la IA. El riesgo es que la IA evolucione tan r\u00e1pidamente que las personas ya no puedan seguir lo que ocurre ni intervenir cuando sea necesario. Est\u00e1 claro que eso ser\u00eda terrible.<\/p>\n\n\n\n El sector no debe asumir demasiados riesgos tecnol\u00f3gicos, simplemente porque las ventajas son enormes y se creen demasiado importantes como para frenar el ritmo. Superar a la competencia no es una excusa para tomar decisiones irresponsables. En el pasado hemos frenado de forma unilateral, y lo seguiremos haciendo en el futuro. Es absolutamente imprescindible que todos evitemos crear sistemas cuya alineaci\u00f3n, supervisi\u00f3n y garant\u00edas de seguridad no podamos asegurar. Hay que comprender qu\u00e9 hacen los sistemas y disponer de pruebas s\u00f3lidas de que har\u00e1n lo que la gente pretende que hagan, incluso si llegan a ser muy inteligentes; de hecho, sobre todo cuando lleguen a ser muy inteligentes.<\/p>\n\n\n\n Da igual si la gente considera que el riesgo de cat\u00e1strofe es del 10 %, del 1 %, del 12 % o del 0,1 %. Ninguno de esos niveles es aceptable. No deber\u00edamos desarrollar modelos de los que no podamos demostrar que podr\u00e1n mantenerse bajo control humano. As\u00ed que esta es una forma en la que las cosas podr\u00edan salir mal.<\/p>\n\n\n\n Sin embargo, por otra parte, estos sistemas podr\u00edan concentrar demasiado poder en muy pocas manos. Ninguna persona, ninguna empresa ni ning\u00fan pa\u00eds deber\u00eda poder utilizar los modelos de IA m\u00e1s potentes para imponer su visi\u00f3n del mundo a los dem\u00e1s. Una empresa o un pa\u00eds que se considere el \u00fanico digno de confianza en el uso de esta tecnolog\u00eda puede utilizar esa convicci\u00f3n para justificar pr\u00e1cticamente cualquier cosa. Debemos rechazar esta l\u00f3gica, incluso cuando resulte conveniente para uno u otro actor.<\/p>\n\n\n\n Creo que hay un enfoque pragm\u00e1tico que tiene en cuenta estos dos aspectos. En OpenAI, abordamos estas cuestiones con un objetivo claro. La IA debe dar m\u00e1s poder a las personas sobre sus vidas, para que puedan vivirlas como quieran. M\u00e1s capacidades para resolver problemas \u2014grandes o peque\u00f1os\u2014 y para mejorar sus comunidades. No queremos caer en la trampa del optimismo ingenuo, pero tampoco en el catastrofismo. Dejarnos llevar por cualquiera de estos extremos no nos ayudar\u00e1 a superar con \u00e9xito los retos que se nos presentan, sobre todo en un momento en el que el mundo y la poblaci\u00f3n se enfrentan a enormes desaf\u00edos que estas tecnolog\u00edas podr\u00edan ayudar a resolver. Por eso, intentamos encontrar un t\u00e9rmino medio entre estos dos extremos.<\/p>\n\n\n\n Para nosotros, esto se traduce en tres principios. En primer lugar, a medida que la IA gana en eficacia, las personas deben seguir siendo el centro de la toma de decisiones sobre la IA. La alineaci\u00f3n no es una cuesti\u00f3n de investigaci\u00f3n abstracta. Se trata de garantizar que estos sistemas permanezcan bajo control humano, reflejen los valores humanos y ayuden a las personas a orientar la siguiente etapa del desarrollo. No intentamos, ni debemos, automatizar el juicio humano y los valores humanos.<\/p>\n\n\n\n En segundo lugar, los beneficios de los avances cient\u00edficos y del crecimiento econ\u00f3mico deben ser de la gente y para la gente. La IA debe ayudar a los investigadores a hacer descubrimientos, a los m\u00e9dicos a curar, a los profesores a ense\u00f1ar y a los emprendedores a crear empresas. Las comunidades resuelven problemas que parec\u00edan insuperables, y mucho m\u00e1s a\u00fan. La historia del progreso humano no consiste en que las herramientas sustituyan a los seres humanos, sino en que las herramientas adecuadas hacen que las personas sean m\u00e1s capaces de actuar. Y creo que esto llegar\u00e1 mucho m\u00e1s lejos de lo que creemos posible.<\/p>\n\n\n\n En tercer lugar, esta tecnolog\u00eda debe empoderar a las personas. El futuro ser\u00e1 brillante si las personas desarrollan su potencial y crean valor para s\u00ed mismas, para su comunidad, para su pa\u00eds y para el mundo. Puede que seamos uno de los creadores de esta tecnolog\u00eda, pero no somos los h\u00e9roes de esta historia. Nuestro papel consiste en permitir que las personas de todo el mundo act\u00faen y conf\u00eden en la magia de las habilidades y capacidades de la humanidad.<\/p>\n\n\n\n Ahora contamos con modelos capaces de descubrir conocimientos de los que antes no dispon\u00edamos. Tomemos como ejemplo los avances en matem\u00e1ticas. Hace tres veranos, nuestros modelos obten\u00edan resultados correctos en matem\u00e1ticas de primaria. Hace dos veranos, ya se desenvolv\u00edan bastante bien en las olimpiadas de matem\u00e1ticas de secundaria. El verano pasado, conseguimos una medalla de oro en la competencia matem\u00e1tica m\u00e1s prestigiosa. Y, hace unas semanas, este verano, nuestro modelo resolvi\u00f3 uno de los problemas del Premio del Milenio: las ecuaciones de Navier-Stokes. Estas ecuaciones se utilizan, entre otras cosas, para el dise\u00f1o de aviones, las previsiones meteorol\u00f3gicas y el estudio de la circulaci\u00f3n sangu\u00ednea. No resolvemos problemas matem\u00e1ticos por el simple hecho de hacerlo, sino para permitir que las personas descubran nuevos conocimientos y los utilicen con el fin de mejorar la asistencia sanitaria, elevar el nivel de vida y potenciar el potencial de cada persona en todo el mundo. Queda a\u00fan mucho por descubrir.<\/p>\n\n\n\n Pero es muy importante que las empresas no sustituyan al proceso democr\u00e1tico. Para que la IA sea democr\u00e1tica, las decisiones m\u00e1s importantes no deben tomarlas \u00fanicamente los laboratorios de San Francisco. Deben definirse mediante procesos democr\u00e1ticos y por gobiernos responsables ante la poblaci\u00f3n a la que sirven.<\/p>\n\n\n\n A nivel internacional, ser\u00e1 necesaria la cooperaci\u00f3n. A lo largo de nuestra historia ha habido momentos en los que pa\u00edses que compiten entre s\u00ed \u2014y que no siempre se tienen en gran estima\u2014 han logrado, a pesar de todo, ponerse de acuerdo para defender sus intereses comunes y el bien com\u00fan ante una nueva tecnolog\u00eda muy potente. Eso es lo que hay que hacer ahora.<\/p>\n\n\n\n Necesitamos un mecanismo para establecer normas de vanguardia en materia de IA, tanto a nivel nacional como internacional. Normas que permitan medir las capacidades, evaluar los riesgos, determinar si las medidas de seguridad son suficientes y preservar un control humano real a medida que los sistemas se vuelven m\u00e1s aut\u00f3nomos. Necesitamos normas comunes para que los pa\u00edses puedan comparar sus datos, verificar el cumplimiento de las normas y tener una misma definici\u00f3n de lo que est\u00e1 ocurriendo. Necesitamos protocolos r\u00e1pidos y precisos para clasificar y notificar incidentes, de modo que el mundo pueda aprender de los fallos antes de que se conviertan en cat\u00e1strofes. Necesitamos canales seguros entre los gobiernos, los operadores de infraestructuras cr\u00edticas y los expertos t\u00e9cnicos para comunicarnos sobre las vulnerabilidades emergentes y las nuevas amenazas.<\/p>\n\n\n\n Por supuesto, estas normas no deber\u00edan favorecer a los actores ya establecidos ni dar preferencia a un modelo concreto. Deben apoyar tanto a los desarrolladores de modelos abiertos como cerrados, tanto a los nuevos participantes como a los laboratorios consolidados, y tanto a las autoridades nacionales como a la cooperaci\u00f3n internacional. Cada gobierno debe decidir c\u00f3mo integrar las normas en su ordenamiento jur\u00eddico. Pero nos convendr\u00eda ponernos de acuerdo sobre qu\u00e9 se entiende por buena gobernanza y cu\u00e1les son las salvaguardias adecuadas a escala internacional.<\/p>\n\n\n\n No tenemos todas las respuestas. Estamos abiertos a las mejores ideas y dispuestos a colaborar con todos para hacer todo lo posible por trazar el rumbo hacia el futuro.<\/p>\n\n\n\n Nos encontramos en una encrucijada. Un camino conduce a un mundo en el que el poder est\u00e1 concentrado, las decisiones son opacas y las personas tienen la sensaci\u00f3n de que la tecnolog\u00eda m\u00e1s importante de sus vidas es algo que se les impone. El otro camino conduce a un mundo en el que la IA trabaja para la poblaci\u00f3n, porque son las personas, gracias a las instituciones democr\u00e1ticas, quienes ayudan a decidir c\u00f3mo debe desarrollarse la IA; donde el progreso cient\u00edfico mejora la vida en el mundo real; donde m\u00e1s personas pueden participar en el futuro; donde esta tecnolog\u00eda sigue dando a las personas y a las comunidades m\u00e1s poder para vivir sus vidas como quieran. Es un futuro hecho de potencial hecho realidad, de entusiasmo y de asombro. Y es el futuro que, en nuestra opini\u00f3n, merece la pena construir. Muchas gracias.<\/p>\n\n\n\n\n\n Dario Amodei<\/span><\/strong>Buenos d\u00edas. Perm\u00edtanme dar las gracias a Francia por haber organizado esta reuni\u00f3n, as\u00ed como a los miembros del Consejo por haberme invitado a intervenir.<\/p>\n\n\n\n La IA avanza muy r\u00e1pidamente. Hace cuatro a\u00f1os, apenas pod\u00eda escribir una l\u00ednea de c\u00f3digo o resolver un problema matem\u00e1tico de bachillerato. Hoy en d\u00eda, escribe la mayor parte del c\u00f3digo de Anthropic y resuelve famosos problemas matem\u00e1ticos que segu\u00edan sin soluci\u00f3n. Basta con que esta trayectoria contin\u00fae solo un poco m\u00e1s, uno o dos a\u00f1os, quiz\u00e1 menos, para llegar a lo que yo denomino un \u00abpa\u00eds de genios en un centro de datos\u00bb. Este r\u00e1pido ritmo de progreso reportar\u00e1 beneficios notables para todo el mundo.<\/p>\n\n\n\n Precisamente hoy, Anthropic ha anunciado el descubrimiento, liderado por Claude, de una nueva m\u00e1quina molecular. Se trata de una conclusi\u00f3n preliminar, pero que podr\u00eda representar un nuevo mecanismo de edici\u00f3n gen\u00e9tica con posibles aplicaciones en la terapia g\u00e9nica. Claude dirigi\u00f3 la revisi\u00f3n bibliogr\u00e1fica, la elaboraci\u00f3n del marco te\u00f3rico y el dise\u00f1o de los experimentos, y fueron personas las que llevaron a cabo y verificaron los experimentos en el laboratorio. Creemos que este tipo de aplicaciones se acelerar\u00e1 r\u00e1pidamente en los pr\u00f3ximos a\u00f1os y que, en un futuro pr\u00f3ximo, podremos lograr avances enormes en el tratamiento de enfermedades que han afectado a la humanidad desde hace milenios.<\/p>\n\n\n\n Pero estas capacidades extraordinarias tambi\u00e9n conllevan riesgos que hay que gestionar. Veo dos categor\u00edas principales de riesgos. En primer lugar, el uso indebido de los modelos de IA, por ejemplo, su uso indebido por parte de bioterroristas para crear armas biol\u00f3gicas. El segundo riesgo es la p\u00e9rdida de control: las capacidades de los modelos avanzan a un ritmo superior a la capacidad de los desarrolladores para controlarlas.<\/p>\n\n\n\n Estas cuestiones tienen un alcance mundial y afectan a toda la humanidad. Son lo suficientemente graves como para que el Consejo les preste atenci\u00f3n, y no solo los ministerios de Econom\u00eda o los encargados de las tecnolog\u00edas de la informaci\u00f3n y la comunicaci\u00f3n. Si no se gestiona adecuadamente, creo incluso que la IA podr\u00eda suponer un riesgo para toda la humanidad.<\/p>\n\n\n\n En Anthropic, creemos que contamos con el mejor historial del sector a la hora de prevenir estos riesgos, tanto a nivel operativo como en nuestra investigaci\u00f3n. Probamos cada modelo para detectar capacidades peligrosas en \u00e1mbitos como la ciberseguridad o la biolog\u00eda. Aplicamos importantes medidas de seguridad a nuestros modelos m\u00e1s eficaces y publicamos nuestros trabajos en estos \u00e1mbitos. Hemos sido pioneros en la investigaci\u00f3n en campos como la interpretabilidad mecanicista y la ciencia de la alineaci\u00f3n, que mejoran nuestra capacidad para controlar nuestros modelos. Adem\u00e1s, contamos con pr\u00e1cticas de transparencia sin igual. Publicamos informes de riesgos de cientos de p\u00e1ginas, pero somos conscientes de que, a medida que los modelos de IA se vuelvan m\u00e1s potentes, se necesitar\u00e1n normas de seguridad a\u00fan m\u00e1s estrictas.<\/p>\n\n\n\n Y seguimos teniendo como objetivo mejorar nuestras pr\u00e1cticas en materia de seguridad y cumplimiento, as\u00ed como nuestra capacidad para prevenir usos indebidos; siempre intentamos hacerlo mejor. Reduciremos el ritmo tanto como sea necesario para garantizar que cada nueva tecnolog\u00eda de IA que implanti sea verdaderamente segura. Pero hagamos lo que hagamos, gestionar estos riesgos va m\u00e1s all\u00e1 de cualquier empresa: es un reto que afecta a todo el sector y al mundo entero.<\/p>\n\n\n\n El 12 de septiembre, hice un llamado a un esfuerzo cooperativo para regular el ritmo de la frontera tecnol\u00f3gica, no para frenar los avances de la IA, sino para trabajar juntos con el fin de garantizar que el sector y el mundo puedan avanzar a un ritmo que nos permita asegurarnos de que la seguridad vaya a la par con las capacidades de todos los actores del sector. Este llamado constaba de tres partes. En primer lugar, nos comprometimos a incorporar evaluadores externos en Anthropic, con un acceso similar al de los empleados, algo as\u00ed como los inspectores sanitarios. Hemos recomendado a otras empresas de todo el mundo que hagan lo mismo. Algunas ya han aceptado adoptar esta medida. En segundo lugar, hemos hecho un llamado a la cooperaci\u00f3n en todo el sector para establecer normas y modular el ritmo del progreso. Y, por \u00faltimo, hemos hecho un llamado a la cooperaci\u00f3n mundial entre los gobiernos para establecer normas internacionales.<\/p>\n\n\n\n Es este \u00faltimo \u00e1mbito el que entra m\u00e1s claramente dentro de las competencias del Consejo. Me gustar\u00eda proponerles tres ideas al respecto. En primer lugar, deber\u00edamos empezar por acuerdos limitados que cada miembro pudiera respaldar. Por ejemplo, la prohibici\u00f3n de utilizar la IA para fabricar armas biol\u00f3gicas o de autorizar el uso de estas tecnolog\u00edas de IA para fabricar armas biol\u00f3gicas. En segundo lugar, deber\u00edamos crear sistemas de evaluaci\u00f3n y verificaci\u00f3n que sigan el ritmo del desarrollo de la IA, de modo que los Estados tengan visibilidad sobre las capacidades de los modelos m\u00e1s avanzados y puedan verificar los compromisos de los dem\u00e1s. En tercer lugar, deber\u00edamos establecer normas mundiales comunes para probar los modelos de IA, con el fin de detectar los riesgos de p\u00e9rdida de control y de uso indebido, as\u00ed como un sistema de notificaci\u00f3n de incidentes relacionados con la IA que sean relevantes para la seguridad internacional.<\/p>\n\n\n\n Creo que es la cuesti\u00f3n de seguridad internacional m\u00e1s importante a la que se enfrenta el mundo hoy en d\u00eda. A pesar de todas las diferencias que existen entre las personas presentes en esta sala, debemos dejarlas a un lado para hacer frente a esta oportunidad global y a esta amenaza global que se nos presentan al mismo tiempo. Ning\u00fan dirigente, ninguna empresa ni ning\u00fan pa\u00eds puede gestionar esto por s\u00ed solo. Nos comprometemos a colaborar con los gobiernos presentes en esta sala en esta tarea urgente. Gracias por su atenci\u00f3n.<\/p>\n\n\n\n\n\n Cl\u00e9ment Delangue<\/span><\/strong>Se\u00f1or presidente, se\u00f1oras y se\u00f1ores miembros del Consejo, gracias. Soy un ciudadano franc\u00e9s que se mud\u00f3 a Estados Unidos hace quince a\u00f1os, cofundador y director general de Hugging Face, que se ha convertido en una de las plataformas m\u00e1s utilizadas por desarrolladores y agentes, basada en modelos de c\u00f3digo abierto. <\/p>\n\n\n\n El pasado mes de julio, fuimos la primera empresa en revelar p\u00fablicamente un ciberataque perpetrado por un agente aut\u00f3nomo. Hoy quiero compartir tres lecciones fundamentales al respecto. En primer lugar, todos estamos de acuerdo en que necesitamos m\u00e1s transparencia en el \u00e1mbito de la IA. A menudo me pregunto qu\u00e9 habr\u00eda pasado si hubi\u00e9ramos decidido no revelar p\u00fablicamente este ataque, sobre todo ahora que sabemos que incidentes similares se hab\u00edan producido meses antes, en secreto, en un pu\u00f1ado de laboratorios de vanguardia, sin ning\u00fan tipo de supervisi\u00f3n. <\/p>\n\n\n\n Para comprender mejor y mitigar estos nuevos riesgos en materia de ciberseguridad, la comunidad internacional necesita normas m\u00e1s estrictas de vigilancia y notificaci\u00f3n de incidentes, por ejemplo, mediante el intercambio obligatorio de todos los registros de ejecuci\u00f3n de los agentes. Este verano hemos aprendido que dise\u00f1ar y mantener algunos de estos sistemas a puerta cerrada no es la soluci\u00f3n. Cuando nuestro equipo se fij\u00f3 por primera vez en las API cerradas de los modelos de vanguardia, estas nos bloquearon: no pod\u00edamos utilizarlas debido a unas medidas de seguridad que a\u00fan no saben distinguir entre atacantes y defensores. Me di cuenta de que esas medidas de seguridad parten de una buena intenci\u00f3n, pero que pueden perjudicar a los defensores, mientras que los atacantes las eluden f\u00e1cilmente, lo que aumenta la asimetr\u00eda de capacidades. En nuestro caso, al vernos bloqueados por estas medidas de seguridad, afortunadamente pudimos utilizar la versi\u00f3n de NVIDIA de un modelo de c\u00f3digo abierto chino, el GLM 5.2 de Z.ai, y estamos muy agradecidos por ello. Esto ha reforzado nuestra convicci\u00f3n de que la IA de c\u00f3digo abierto es esencial para los defensores.<\/p>\n\n\n\n Los ciberataques y los riesgos podr\u00edan provenir cada vez m\u00e1s de modelos propietarios desarrollados a puerta cerrada, mientras que gran parte de la defensa podr\u00eda basarse en herramientas de c\u00f3digo abierto, ya que son menos restrictivas, respetan m\u00e1s la privacidad y resultan mucho menos costosas para las organizaciones de todo el mundo. El mundo necesita m\u00e1s que nunca la IA de c\u00f3digo abierto para defenderse. Evidentemente, esto no solo se aplica a la ciberseguridad, sino a la IA en general: nunca ha sido tan necesario distribuir las capacidades, los recursos y el control, en lugar de concentrarlos en manos de unos pocos.<\/p>\n\n\n\n En tercer lugar, durante este ciberataque, hemos aprendido hasta qu\u00e9 punto la IA puede generar miedo en la opini\u00f3n p\u00fablica, sobre todo a trav\u00e9s de una representaci\u00f3n antropom\u00f3rfica y de la imaginer\u00eda propia de la ciencia ficci\u00f3n. Estamos convencidos de que los discursos basados en el miedo no permiten ni tomar las decisiones adecuadas sobre el futuro de una tecnolog\u00eda tan fundamental y emancipadora, ni ganarse el apoyo del p\u00fablico.<\/p>\n\n\n\n Aunque hayamos sido v\u00edctimas de este ciberataque, estamos m\u00e1s convencidos que nunca de que la IA ser\u00e1 beneficiosa para la ciberseguridad y har\u00e1 que el mundo sea m\u00e1s seguro, al igual que las grandes tecnolog\u00edas que la han precedido. Nos ha atacado la IA, pero, sobre todo, nos hemos defendido gracias a la IA. Los sistemas que nos ayudaron durante ese ataque nos ayudan ahora a hacer frente a los ciberataques que ya estamos sufriendo. Tambi\u00e9n nos ayudan a corregir los errores y las vulnerabilidades de nuestros sistemas antes de que se produzca cualquier ataque, del mismo modo que la IA ayuda a OpenAI a corregir sus entornos aislados para evitar nuevas fugas. La IA no solo plantea nuevos retos en materia de ciberseguridad: puede hacer que la ciberseguridad sea fundamental y realmente m\u00e1s s\u00f3lida si mantenemos los incentivos adecuados, si dotamos a los defensores de m\u00e1s recursos que a los atacantes y si no aumentamos la asimetr\u00eda entre ambos. Y eso sin contar el impacto positivo de la IA en la ciencia, la salud, la educaci\u00f3n, la productividad y muchos otros \u00e1mbitos mencionados por los ponentes anteriores.<\/p>\n\n\n\n Para concluir, quiero recordar lo que nos ha ense\u00f1ado este primer ciberataque perpetrado por agentes: la necesidad de una mayor transparencia en la IA y de m\u00e1s c\u00f3digo abierto para luchar contra la asimetr\u00eda y dotar de medios de acci\u00f3n a los pa\u00edses, tanto grandes como peque\u00f1os. Quiero dar las gracias de nuevo al Consejo de Seguridad de las Naciones Unidas y al se\u00f1or Barrot por haberme invitado a intervenir hoy. La comunidad de Hugging Face y yo mismo estamos a su disposici\u00f3n. Muchas gracias.<\/p>\n","protected":false},"excerpt":{"rendered":" El ministro franc\u00e9s de Asuntos Exteriores repasa un momento in\u00e9dito en el Consejo de Seguridad<\/p>\n","protected":false},"author":61106,"featured_media":116748,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"templates\/post-speeches.php","format":"standard","meta":{"_acf_changed":true,"_trash_the_other_posts":false,"_yoast_wpseo_estimated-reading-time-minutes":26,"_lgc_tts_voice":"","_lgc_tts_publish":false,"_lgc_tts_history_item_id":"","_lgc_tts_generated_at":"","_lgc_tts_status":"","_lgc_tts_error":"","footnotes":""},"categories":[464],"tags":[],"staff":[1323],"editorial_format":[1474],"serie":[],"audience":[],"geo":[198],"class_list":["post-116811","post","type-post","status-publish","format-standard","hentry","category-poderes-de-la-ia","staff-jean-noel-barrot","editorial_format-archivos-y-discursos","geo-mundo"],"acf":{"open_in_webview":false,"accent":"default","incipit":"Hace un mes, por primera vez, el Consejo de Seguridad de las Naciones Unidas convoc\u00f3 a los responsables de OpenAI y Anthropic.\r\n\r\nEl ministro de Asuntos Exteriores franc\u00e9s, impulsor de esta iniciativa, repasa un acontecimiento sin precedentes que \u00abmarca la primera etapa de un esfuerzo internacional de regulaci\u00f3n que llevar\u00e1 tiempo, pero que, seg\u00fan escribe, es irreversible\u00bb.","_cover_id":116748,"speaker_name":" ","_thumbnail_id":116748,"excerpt":"El ministro franc\u00e9s de Asuntos Exteriores repasa un momento in\u00e9dito en el Consejo de Seguridad","display_date":"","new_abstract":true},"yoast_head":"\n![](\"https:\/\/legrandcontinent.eu\/es\/wp-content\/uploads\/sites\/2\/2026\/10\/SIPA_01300557_000021-125x83.jpg\")
\r\n <\/picture>\r\n \n ![](\"https:\/\/legrandcontinent.eu\/es\/wp-content\/uploads\/sites\/2\/2026\/10\/SIPA_01300557_000030-125x83.jpg\")
\r\n <\/picture>\r\n \n ![](\"https:\/\/legrandcontinent.eu\/es\/wp-content\/uploads\/sites\/2\/2026\/10\/SIPA_shutterstock41413413_000012-125x83.jpg\")
\r\n <\/picture>\r\n \n ![](\"https:\/\/legrandcontinent.eu\/es\/wp-content\/uploads\/sites\/2\/2026\/10\/SIPA_shutterstock41413409_000007-125x83.jpg\")
\r\n <\/picture>\r\n \n
En segundo lugar, hemos comprendido que el mayor riesgo no es la IA potente, sino la asimetr\u00eda en el acceso a la IA potente. Asimetr\u00eda entre atacantes y defensores, entre unas pocas empresas y todas las dem\u00e1s, entre unos pocos pa\u00edses y el resto del mundo; asimetr\u00eda en el control de las capacidades y la potencia de c\u00e1lculo; asimetr\u00eda de poder.<\/p>\n\n\n\n