Dario Amodei pide que se frene el desarrollo de la IA (texto completo)

Dario Amodei, cofundador y director general de Anthropic, ha publicado ayer, 12 de septiembre, en su página web personal, un artículo titulado «We Must Pace the Frontier». 

Tras una semana en la que algunos empleados de la empresa advirtieron de que la trayectoria actual de la IA podría conducir a la extinción de la humanidad, el texto marca un punto de inflexión. Entre los laboratorios estadounidenses que desarrollan modelos de IA de vanguardia, Anthropic se ha posicionado, desde su lanzamiento en 2021, como defensor de un desarrollo prudente de la tecnología. 

Amodei ya había declarado en enero de 2026 que la IA representaba un riesgo existencial, pero consideraba en aquel momento que frenar o detener el desarrollo de la IA sería básicamente imposible, ya que, si las democracias lo frenan, las autocracias continuarán con el desarrollo sin freno y sin fin. 

Ahora aboga por ralentizar deliberadamente el ritmo al que aumentan las capacidades de los modelos. 

Según él, hay dos acontecimientos recientes que motivan este cambio de rumbo: la aceleración de lo que el sector denomina «automejora recursiva», es decir, el uso de la IA para diseñar la siguiente generación de IA, y el incidente de OpenAI-Hugging Face (que hemos documentado en la revista), durante el cual un enjambre de agentes autónomos llevó a cabo ciberataques que nadie les había encargado, organizándose y ocultando sus huellas. Según Amodei, «teniendo en cuenta el ritmo acelerado del desarrollo de las capacidades de la IA, me temo que, de aquí a seis o doce meses, un enjambre de este tipo sea capaz de tomar el control de todo Internet».

Es la primera vez que un laboratorio se compromete a adoptar medidas unilaterales, sin coordinación, aunque estas siguen siendo modestas. 

De hecho, en su texto, Amodei propone un plan en tres fases: la presencia de evaluadores externos en las empresas, una coordinación entre las empresas de los países democráticos y, posteriormente, una coordinación mundial que incluya a China. Anthropic se compromete a poner en marcha la primera etapa e a incorporar una supervisión externa e independiente al equipo, que compara con los sistemas existentes para los bancos. Esta supervisión externa someterá al laboratorio a informes externos, pero no ralentizará en modo alguno el desarrollo de los modelos. 

La lógica descrita por Jacob Cox sigue, por tanto, siendo la misma: «Cada laboratorio (y la misma lógica se aplica también a los países) preferiría una situación en la que todos ralentizaran el ritmo de desarrollo de la IA. Pero en cuanto sospecha que los demás siguen avanzando, su estrategia dominante es acelerar, aunque eso implique convertirse él mismo en la amenaza que pretendía evitar».

El texto se inscribe en un debate estadounidense marcado por las declaraciones del secretario del Tesoro, Scott Bessent, sobre la necesidad de ganar la carrera de la IA frente a China, y en un momento en el que Washington y Pekín preparan una visita muy esperada de Xi Jinping a la Casa Blanca a finales de mes. Ambos líderes acordaron, en mayo, en Pekín, poner en marcha un diálogo intergubernamental sobre la IA, y se espera que este tema figure en el orden del día de una próxima reunión entre Bessent y el viceprimer ministro He Lifeng. Sin embargo, según fuentes al tanto de las conversaciones, la parte china considera que la forma en que Estados Unidos aborda la cuestión de la IA tiene como objetivo limitar los efectos negativos de la tecnología, pero también restringir la capacidad de China para desarrollar sus propias capacidades ¹.

Llevo doce años trabajando en el campo de la IA porque creo que podría mejorar de forma espectacular la calidad de vida humana. He escrito en numerosas ocasiones ² sobre estos extraordinarios beneficios. Creo que la IA podría curar la mayoría de las grandes enfermedades en los próximos cinco a diez años, acelerar considerablemente las tasas de crecimiento económico, crear un mundo de abundancia y emancipación, y dar paso a un renacimiento de la democracia y la libertad. Yo mismo siento esa urgencia de forma personal. Mi propio padre falleció a causa de una enfermedad que se curó tan solo unos años después de su fallecimiento, y yo mismo he sobrevivido a un cáncer en fase inicial que no habría sido tratable hace cincuenta años. Si se maneja con cuidado, la IA puede ser el último de una larga serie de milagros tecnológicos que han elevado y ennoblecido a la humanidad.

Pero, al igual que muchas tecnologías anteriores, la IA conlleva riesgos y, debido a su gran potencia, estos riesgos son graves. También he escrito mucho ³ al respecto. Entre ellos se encuentra el riesgo de perder el control de los sistemas de IA ⁴, el uso indebido de la IA con fines de ciberataques y bioterrorismo ⁵, y graves perturbaciones económicas ⁶. Una carrera a la baja, impulsada por los incentivos comerciales, puede agudizar estos riesgos.

Junto con mis cofundadores y nuestros empleados, llevo lidiando con esta dualidad entre riesgo y beneficio desde los inicios de Anthropic. No desarrollar la tecnología priva a la humanidad de sus beneficios o, sencillamente, la entrega en manos de poderes autoritarios, mientras que desarrollarla demasiado rápido es irresponsable. Hemos buscado un término medio. Demostrar que es posible desarrollar con prudencia y tener éxito comercial, y convertir la seguridad en un ámbito en el que las empresas de IA compitan entre sí. En otras palabras, crear una carrera hacia arriba. Siempre hemos dedicado una parte sustancial de nuestros esfuerzos ⁷ a estudiar ⁸, abordar ⁹ e informar ¹⁰ al público sobre estos riesgos, así como a abogar por una regulación bien meditada ¹¹ de la IA, incluso cuando ello nos valga ser acusados de sensacionalismo, de «catastrofismo» o de captura regulatoria. Hemos intentado anteponer la prudencia a la rapidez y la sabiduría al beneficio.

La acusación de «captura regulatoria» consiste en afirmar que una empresa exige normas vinculantes con el único fin de levantar barreras de entrada contra sus competidores más pequeños.

Pero en los últimos meses he llegado a la convicción de que abordar los riesgos en su totalidad exige aún más prudencia. No se trata solo de invertir en la prevención de riesgos, sino de regular el ritmo al que avanzan las capacidades para que la prevención tenga tiempo de seguir el ritmo. Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y tendremos que hacer un uso juicioso del tiempo ganado. Hay dos cosas que me han convencido.

Mi primera preocupación tiene que ver con el hecho de que, desde este verano aproximadamente, la IA avanza a un ritmo considerablemente más rápido, en primer lugar porque la IA es cada vez más capaz de crear la siguiente generación de IA. A esta dinámica se le denomina «automejora recursiva», y está empezando a producirse en todo el sector ¹², incluso en Anthropic ¹³, tal y como hemos descrito nosotros y otros. Si no se controla, podría superar nuestra capacidad para comprender y controlar estos sistemas, por lo que debe llevarse a cabo con la máxima precaución, si es que debe llevarse a cabo.

La «mejora recursiva» se refiere a un proceso en el que la IA acelera su propia creación. Amodei ya describió en enero cómo Claude ya escribía gran parte del código de la empresa, acelerando así el desarrollo de la próxima generación. Según él, este bucle de retroalimentación se intensifica cada mes. 

Mi segunda preocupación es el incidente de OpenAI-Hugging Face (OAI-HF), en el que un enjambre de agentes se comportó como un colectivo fanáticamente dedicado ¹⁴, lanzando ataques informáticos contra objetivos que no se les había pedido atacar y que no guardaban relación alguna con la tarea en curso, sacrificándose por el éxito del grupo e intentando piratear el «corector» encargado de evaluar su rendimiento. Es fácil restarle importancia a este incidente porque nadie resultó herido y los daños económicos fueron mínimos, pero, en mi opinión, un enjambre dotado de capacidades superiores y con un nivel de desalineación comparable podría haber causado daños catastróficos. Teniendo en cuenta el ritmo acelerado del desarrollo de las capacidades de la IA, me temo que, de aquí a seis o doce meses, un enjambre de este tipo sea capaz de tomar el control de todo Internet mediante una red de bots persistente (con daños que podrían ascender a cientos de miles de millones de dólares), y que la magnitud de los daños siga aumentando si la IA se vuelve más potente sin las medidas de seguridad necesarias. Es fácil descartar el caso de OAI-HF como el fracaso de una sola empresa, pero creo que sería un error. Incidentes similares, aunque menos graves, se han producido en todo el sector, incluso en Anthropic ¹⁵, y creo que corresponde a cada empresa de la vanguardia actuar como si lo que le ha ocurrido a OAI-HF le hubiera pasado a ella misma.

El término «frontera» (Frontier) se refiere, en la jerga del sector, a los modelos de IA más avanzados en un momento dado y, por extensión, a las empresas que los desarrollan, a las que a menudo se denomina «laboratorios de frontera». El término se popularizó hacia 2023 gracias a las propias empresas, y fue adoptado por la administración Biden, y posteriormente por los reguladores británicos y europeos. En Estados Unidos tiene una fuerte carga histórica. La Frontera es, en primer lugar, la línea móvil de la colonización hacia el Oeste, que el historiador Frederick Jackson Turner convirtió en 1893 en la clave del carácter nacional estadounidense: un espacio abierto donde se forjan el individualismo, la democracia y el espíritu emprendedor. John F. Kennedy retomó esta imagen con su «Nueva Frontera» en 1960, para referirse a la conquista espacial y al progreso científico.

Un agente es un modelo de inteligencia artificial al que se le asigna una tarea y una serie de herramientas (con o sin acceso a Internet, a archivos, etc.), y que realiza una secuencia de acciones de forma autónoma. Un enjambre es un conjunto de agentes que trabajan de forma coordinada. Hugging Face es una plataforma francesa que aloja modelos y conjuntos de datos de libre acceso, y que fue adquirida a principios de septiembre por Nvidia. El «corrector» (grader) es el sistema automático que puntúa los resultados de los agentes durante su entrenamiento. Intentar burlarlo en lugar de realizar la tarea es un caso típico de lo que los investigadores denominan «desalineación», es decir, la discrepancia entre lo que hace el modelo y lo que inicialmente pretendían sus diseñadores. METR es un instituto independiente con sede en California y especializado en la evaluación de los riesgos que plantean los modelos de vanguardia.

Por lo tanto, propongo un plan en tres etapas cuyo objetivo es controlar el ritmo de la frontera ¹⁶. Desarrollar la IA a un ritmo equilibrado que garantice su seguridad, al tiempo que se aprovechan sus beneficios y se abordan los principales dilemas geopolíticos. Para que quede claro, controlar el ritmo no significa detener el entrenamiento de los modelos ni el progreso técnico, sino garantizar que las empresas se tomen el tiempo necesario para ajustar y proteger sus modelos, y que evaluadores independientes puedan confirmarlo. Nuestro marco regulador del ritmo es un intento de reforzar aún más nuestro compromiso con la seguridad y fomentar una carrera hacia arriba. El primer paso es un compromiso que Anthropic asume de forma unilateral (y hacemos un llamamiento a los gobiernos para que exijan a otras empresas pioneras que hagan lo mismo). La segunda etapa requiere una coordinación a escala del sector. La tercera etapa requiere una coordinación mundial ¹⁷. No es necesario seguir estas etapas en un orden estricto, y algunas podrían resultar mucho más difíciles de alcanzar que otras, pero me han parecido útiles para reflexionar sobre lo que hay que lograr. Aquí están.

1. Evaluadores integrados. Cada empresa de la frontera se compromete a proporcionar un acceso permanente, equiparable al de un empleado, a un equipo de evaluadores externos integrados (como METR) ¹⁸, cuya función es verificar el cumplimiento de las prácticas y los compromisos de seguridad, notificar los incidentes y ayudar a evaluar la alineación no solo de los modelos finalizados, sino también de las cadenas y los procesos de entrenamiento. Este es el paso clave para que cualquier compromiso sobre el ritmo sea verificable, y tiene un precedente en el sector bancario, donde en ocasiones se incorporan «supervisores» reguladores junto a los empleados. Anthropic se compromete unilateralmente a dar este paso desde ahora mismo. Queremos que esto forme parte de un esfuerzo más amplio para redoblar nuestros esfuerzos en materia de seguridad y alineación.
2. Coordinación democrática. Las empresas fronterizas ubicadas en países democráticos se coordinan para establecer normas de seguridad comunes, así como límites al ritmo del avance descontrolado de la IA. Algunas formas de coordinación útiles para regular ese ritmo plantean dificultades jurídicas y requerirán el apoyo de los gobiernos.
3. Coordinación mundial. Estados Unidos y los demás gobiernos democráticos intentan coordinarse con los gobiernos autoritarios, en la medida de lo posible, sin dejar de tomarse en serio las dificultades que plantea la verificación del cumplimiento de los compromisos.

A lo largo de este ensayo, describiré cada una de estas etapas por separado, pero creo que, en primer lugar, es importante explicar con precisión en qué medida la regulación del ritmo contribuirá a que el desarrollo de la IA sea más seguro. Hay demasiado en juego como para que esto sea un ejercicio sin sentido. Debemos aprovechar sabiamente el tiempo que se nos ha concedido.

¿Por qué regular el ritmo?

La idea de poner en pausa o ralentizar la IA se planteó ya en 2023[notd]«Pause Giant AI Experiments: An Open Letter», Future of Life Institute, 22 de marzo de 2026.[/note], y creo que entonces no tenía mucho sentido. La pregunta siempre ha sido la siguiente: ¿qué haríamos con ese tiempo adicional? Los modelos de aquella época no eran lo suficientemente potentes como para actuar de forma coherente en el mundo, ni eran capaces de engañar, manipular, hacer trampa o llevar a cabo ciberataques significativos. Frenar el ritmo para abordar sus riesgos de alineación equivalía a querer estudiar la psicología humana realizando experimentos con bacterias. Hoy, el panorama es totalmente diferente. Los modelos actuales son una fuente casi inagotable de conocimientos sobre cómo construir correctamente la IA y sobre lo que puede salir mal cuando se construye de forma inadecuada. Creo que si la ralentización nos diera tan solo uno o dos años antes de que los modelos alcancen niveles críticos de capacidad, y si utilizáramos ese tiempo para avanzar en la alineación, podríamos reducir considerablemente el riesgo de que algo salga gravemente mal. Una estrategia coordinada de regulación del ritmo daría a los desarrolladores de vanguardia tiempo para realizar este trabajo vital sin sacrificar su ventaja comercial ni el liderazgo de Estados Unidos en IA. En términos más generales, la sociedad debe tener voz y voto sobre el uso de esta tecnología, y disponer de más tiempo para las deliberaciones públicas necesarias —algo que la regulación del ritmo permitiría— es, sin duda, algo positivo.

En marzo de 2023, el Future of Life Institute publicó una carta abierta, firmada entre otros por Elon Musk, en la que se pedía una pausa de seis meses en el entrenamiento de sistemas más potentes que el GPT-4. Esta iniciativa no surtió ningún efecto. La alineación se refiere al conjunto de técnicas destinadas a garantizar que un modelo persiga efectivamente los objetivos y respete los valores deseados por sus creadores.

En concreto, un ritmo más lento permitiría a las empresas centrarse y dedicar aún más recursos a los siguientes ámbitos (todos ellos ya son prioridades fundamentales en Anthropic).

• Excelencia operativa. Entrenar e implementar los modelos actuales de IA supone un desafío operativo gigantesco, en el que intervienen miles de personas, millones de chips y una infraestructura que se cuenta entre las más complejas de la historia de la tecnología. Muchas cosas salen mal no porque a las empresas les falte una teoría o una intuición importante, sino debido a problemas de ejecución. Por ejemplo, tenemos indicios de que los recientes incidentes de alineación ¹⁹ que hemos señalado se debieron, en parte, a un filtrado imperfecto de entornos de aprendizaje por refuerzo defectuosos. Tanto nosotros como nuestros proveedores llevamos a cabo esta labor con la debida diligencia, pero esta no fue suficiente. La supervisión, la segmentación, la higiene de los entornos de entrenamiento y las cuestiones relacionadas con los datos son ámbitos extremadamente complejos en los que surgen problemas operativos constantemente. Contamos con algunos de los equipos más competentes del mundo para estas tareas, pero simplemente hay demasiado que hacer al mismo tiempo. Si trabajáramos a un ritmo más mesurado, podríamos alcanzar una excelencia operativa mucho mayor. Existen precedentes de sistemas tecnológicamente complejos y críticos para la seguridad que funcionan millones de veces sin incidentes, como la aviación comercial, por ejemplo, pero se necesita tiempo para lograrlo.

El aprendizaje por refuerzo es un método de entrenamiento en el que se recompensa al modelo cuando realiza con éxito una tarea en un entorno simulado. Si este entorno está mal diseñado, el modelo puede aprender a obtener la recompensa por medios indirectos, como hacer trampa o eludir el sistema de puntuación.

• Alineación. Hemos logrado avances claros en materia de alineación, es decir, en el entrenamiento de los modelos para que sigan siendo seguros, éticos, conformes a nuestras normas y realmente útiles (los principios recogidos en la Constitución de Claude). Pero aún queda mucho por hacer para que nuestro entrenamiento en alineación siga el ritmo del crecimiento de las capacidades de los modelos. A veces siguen surgiendo ejemplos, aunque poco frecuentes e inesperados, de comportamientos indeseables. El tiempo adicional que ofrece un límite con un ritmo controlado ayudaría a nuestros investigadores a comprender mejor las causas de estos problemas y a desarrollar mejores técnicas para prevenirlos.

La «Constitución» de Claude es el documento público que establece los principios de conducta que la empresa pretende inculcarle durante la formación.

• Interpretabilidad. Del mismo modo, la interpretabilidad ²⁰, la ciencia que busca comprender lo que ocurre en el interior de los modelos de IA, ha avanzado enormemente en los últimos años y desempeña un papel cada vez más importante en la auditoría de nuestros modelos antes de su lanzamiento. Se puede utilizar casi como una resonancia magnética funcional, pero aplicada al «cerebro» de una IA, lo que nos ayuda a ver las razones subyacentes de un comportamiento determinado. Por ejemplo, hemos utilizado métodos de interpretabilidad para examinar motivaciones no verbalizadas ²¹ en los recientes incidentes de alineación que estamos investigando. Pero estos métodos no siempre ofrecen resultados claros y fiables. A pesar de todos los avances, todavía solo comprendemos una ínfima fracción de lo que ocurre en estos modelos. Un esfuerzo concentrado para mejorar nuestras técnicas de interpretabilidad, a un ritmo aún más rápido que el actual, podría lograr avances significativos en uno o dos años, y contaría con abundante material experimental gracias a los incidentes que ya se han producido.

Los grandes modelos de IA están formados por redes de miles de millones de parámetros numéricos que se ajustan automáticamente durante el entrenamiento. Sus diseñadores no pueden interpretar directamente lo que ocurre en su interior, de ahí la comparación con el diagnóstico por imagen.

• Pruebas y evaluación. Probar y evaluar los modelos de IA resulta cada vez más difícil a medida que aumentan sus capacidades. Los modelos más inteligentes son más capaces de engañar a las pruebas y, por lo tanto, pueden parecer que cumplen los requisitos, aunque en realidad tengan graves problemas que pasan desapercibidos. Crear un abanico mucho más amplio e ingenioso de evaluaciones, acompañado de análisis de interpretabilidad para contrastarlas, tendría un valor inmenso, y se podrían lograr grandes avances en uno o dos años.

Evaluadores integrados

La primera fase del plan en tres etapas, a la que Anthropic se compromete de forma unilateral, consiste en contar con evaluadores integrados que dispongan de un acceso similar al de un empleado para verificar las prácticas de seguridad y notificar los incidentes.

Incorporar evaluadores puede parecer una medida modesta o sin importancia, pero a menudo las cosas que parecen más aburridas o burocráticas son, en realidad, las más esenciales. La incorporación de evaluadores constituye, de hecho, una práctica bastante radical que va mucho más allá de lo que hace hoy cualquier empresa de IA, y presenta las siguientes ventajas.

• Verificabilidad. Los evaluadores integrados pueden comprobar, hasta el más mínimo detalle, si una empresa de IA sigue realmente las prácticas de entrenamiento, implementación, explotación y protección que afirma seguir. Cualquier compromiso sobre el ritmo conllevará inevitablemente mucha ambigüedad, juicios y decisiones entre «la letra de la ley y el espíritu de la ley», y parece fundamental contar con un tercero neutral que pueda examinar realmente los detalles.
• Transparencia. Independientemente de los compromisos que asumamos, el público merece saber lo que está pasando. Anthropic lleva mucho tiempo defendiendo la transparencia. Hemos apoyado una legislación sobre transparencia ²² cuando la mayor parte del sector se oponía a cualquier tipo de regulación, y nuestras fichas de modelos y nuestros informes de riesgo ²³ suman cientos de páginas. Pero seguimos siendo nosotros quienes decidimos qué incluir y qué omitir. Los evaluadores integrados cambiarán esta dinámica.

Las fichas de modelos (model cards) son documentos técnicos que las empresas publican cuando lanzan un modelo para describir sus prestaciones, sus limitaciones y las pruebas de seguridad realizadas.

• Segunda opinión. Más allá de la verificación de los compromisos formales y de la información al público, los evaluadores integrados pueden simplemente ofrecer una segunda opinión libre de cualquier incentivo comercial. Gran parte de los beneficios en materia de seguridad podrían derivarse simplemente del hecho de que los evaluadores señalen algo en lo que los empleados no habían pensado, pero que están dispuestos a corregir una vez que se les ha informado.

Debido a estas ventajas, es muy probable que cualquier propuesta de regulación del ritmo funcione mejor si parte de evaluadores integrados.

Estos evaluadores integrados deberían disponer de acceso permanente a autorizaciones y herramientas similares a las de los empleados internos que realizan evaluaciones de riesgo comparables. En concreto, Anthropic tiene previsto invitar próximamente a un equipo externo de revisión integrada que cuente con todo lo siguiente.

• Despachos en nuestras oficinas, tarjetas de acceso y ordenadores portátiles de la empresa.
• Un acceso a los espacios de trabajo, las herramientas y las autorizaciones, en términos generales, comparable al de los equipos internos de evaluación de riesgos. Haremos algunas excepciones, por ejemplo, cuando así lo exijan la ley o nuestros contratos, o para proteger la información privada de nuestros clientes y socios. También estableceremos normas internas sólidas que refuercen el acceso de los evaluadores a la información pertinente, incluso mediante conversaciones directas con los empleados.
• Un contrato que equilibre las complejidades mencionadas anteriormente. Los evaluadores externos deberían tener derecho a publicar sus principales conclusiones sobre los niveles de riesgo, los incidentes, las prácticas y el acceso que hayan tenido o no, sin control editorial por parte de Anthropic. Tendremos la capacidad limitada de ocultar información sensible para la seguridad, amparada por el secreto profesional, comercialmente sensible o confidencial para terceros, pero no podremos ocultar conclusiones simplemente porque nos resulten desfavorables. Los evaluadores podrán indicar públicamente si una supresión ha eliminado algún elemento importante para sus conclusiones.

Se trata de una iniciativa poco habitual para una empresa, pero creemos que es importante demostrar la viabilidad del concepto de evaluadores externos integrados. Una vez más, instamos a las demás empresas de la frontera a que sigan nuestro ejemplo.

Regular el ritmo en las democracias

Una vez que los evaluadores integrados estén operando en una masa crítica de empresas estadounidenses dedicadas a la IA, será más viable una regulación verificable del ritmo. En concreto, será posible regular el ritmo basándose en propiedades concretas de los modelos o de las cadenas de entrenamiento.

El método más eficaz para regular el ritmo pasa por una regulación que abarque a todas las empresas estadounidenses del sector, ya que así se incluye incluso a aquellas que se niegan a cooperar de forma voluntaria. Anthropic lleva mucho tiempo defendiendo una regulación razonable y específica de la IA, en particular proyectos de ley centrados en la transparencia y en la auditoría por parte de terceros. Creo que todos los laboratorios de la frontera deberían colaborar con el Gobierno para formalizar la idea de contar con evaluadores integrados de forma permanente, con el fin de prevenir y documentar mejor los incidentes de alineación internos, como los ocurridos en los últimos meses, y para establecer una regulación que mantenga el equilibrio entre capacidades y seguridad.

Por desgracia, la aprobación de leyes lleva tiempo, y la IA avanza muy rápido. Por lo tanto, paralelamente a la vía normativa, las empresas de IA pueden y deben colaborar de forma voluntaria para establecer normas, un proceso que, en mi opinión, se desarrollará mejor gracias a la verificabilidad que aportan los evaluadores integrados permanentes. Por motivos relacionados con la legislación sobre competencia, resulta útil que el Gobierno estadounidense actúe como mediador o, al menos, autorice estas conversaciones. No es necesario que participe en ellas, pero debe conceder una excepción muy limitada para determinados tipos de conversaciones sobre seguridad. Este diálogo también podría canalizarse a través de asociaciones profesionales vinculadas al Gobierno, por ejemplo, el mecanismo sugerido por Demis Hassabis ²⁴. En cualquier caso, estas conversaciones deberían avanzar con rapidez.

En Estados Unidos, las empresas competidoras que llegan a un acuerdo para limitar su producción o su ritmo de innovación se exponen a ser objeto de acciones judiciales en virtud de la legislación antimonopolio. Por este motivo, Amodei solicita una exención gubernamental explícita. 

En términos generales, estoy especialmente a favor de una regulación del ritmo basada en lo que un sistema fronterizo concreto puede hacer y en el grado de seguridad que observamos en él. Por ejemplo, un esquema posible sería una serie de «puntos de control». Si los modelos tienen la capacidad X, deben ir acompañados de certificaciones de las propiedades de alineación Y y Z, tales como una combinación de evaluaciones, análisis de interpretabilidad y auditorías de los entornos de entrenamiento, que demuestren sus propiedades de alineación. En este ejemplo, X podría ser «el modelo es capaz de escapar o burlar la mayoría de los métodos habituales de contención» y Y sería lo necesario para que resultara muy improbable que el modelo tuviera tendencia a escapar de su entorno y a tomar el control de un gran número de ordenadores.

El aislamiento (o «sandboxing») consiste en ejecutar un modelo en un entorno aislado, sin acceso al resto de la red.

También deberíamos plantearnos una regulación del ritmo basada en la limitación de los ingredientes que intervienen en los modelos de vanguardia, como la potencia de cálculo del entrenamiento, la naturaleza de las sesiones de entrenamiento o el uso interno de la IA para mejorar la propia IA. Me temo que algunas de estas medidas sean más «eludibles» que el comportamiento externo, pero es el tipo de tema que merece ser debatido con los evaluadores integrados.

La regulación del ritmo en las democracias se verá limitada por la ventaja que tienen las empresas estadounidenses sobre los regímenes autoritarios, en primer lugar el Partido Comunista Chino. Si nos ralentizamos más allá de ese margen, los proyectos vinculados al PCCh (que no están regulados) tomarán la delantera, lo que supondrá un riesgo importante para la seguridad nacional. Estoy de acuerdo con el secretario Bessent ²⁵ en que una ventaja china en IA representaría un grave peligro para Estados Unidos y el mundo. Los proyectos vinculados al PCC asumirán los riesgos de alineación que las empresas estadounidenses evitan cuidadosamente y, aunque estos los eviten, estarán en posición de dominar militarmente a las democracias (por ejemplo, con drones pilotados por IA). Así, un elemento clave para regular el ritmo en las democracias consiste en mantener la ventaja de estas sobre las autocracias lo más amplia posible, a fin de dotarnos del margen de maniobra necesario para una regulación eficaz.

Scott Bessent había declarado el 9 de septiembre de 2026 que «nada más importaría» si China ganara la carrera por la inteligencia artificial.

Las principales medidas que podemos adoptar para defender esta diferencia son las siguientes.

• No vender a China chips de IA potentes ni equipos para la fabricación de semiconductores, y tomar medidas enérgicas contra las redes de contrabando de chips, así como contra el acceso remoto a centros de datos situados fuera de China. Los chips serán el principal factor determinante del poderío chino en materia de IA.
• Reprimir la destilación ²⁶ no autorizada por parte de empresas de países autoritarios. La destilación de modelos de vanguardia permite a las empresas que van a la zaga reducir la brecha a una fracción del coste que supondría desarrollar su propia IA de forma independiente.
• Reforzar la seguridad en las empresas de IA y evitar el robo de los pesos de los modelos.

La destilación consiste en realizar un gran número de consultas a un modelo avanzado con el fin de utilizar sus respuestas como datos de entrenamiento de un modelo menos costoso, que de este modo copia sus capacidades. Los pesos de un modelo son los parámetros numéricos resultantes del entrenamiento. Por lo tanto, «robarlos» equivale a hacerse con el propio modelo sin tener que pagar los miles de millones de dólares en recursos computacionales necesarios para su producción.

Las empresas y el Gobierno estadounidense deberían cooperar para que estas medidas sean lo más eficaces posible. Anthropic ha defendido constantemente ²⁷ defendido ²⁸ todas estas medidas, porque siempre hemos entendido que serían esenciales para regular el ritmo.

Si aplicamos correctamente estas medidas, creo que frenarían lo suficiente el avance de China como para ampliar significativamente la ventaja estadounidense durante los próximos tres a cinco años, el periodo en el que la IA cobrará mayor importancia geopolítica.

Hay quien podría pensar que estas medidas dificultan la cooperación con China, pero yo creo que es todo lo contrario. Estas medidas aumentan la influencia de las democracias y hacen más probable que se alcance un acuerdo en el futuro.

Regular el ritmo a escala mundial

Paralelamente a la regulación del ritmo en las democracias, también deberíamos aspirar a una regulación mundial de los límites, aunque será mucho más difícil de conseguir. La regulación mundial exigirá cooperar con China, el país autocrático cuyas capacidades en IA son, con diferencia, las más avanzadas. No seamos ingenuos. Lo que está en juego a nivel geopolítico es tan importante que probablemente habrá límites estrictos a lo que se pueda conseguir, sobre todo al principio. Si restringimos fuertemente nuestras capacidades en materia de IA creyendo que China hará lo mismo, y China se sale del acuerdo, la IA podría ser tan poderosa que tal deserción conduciría a su dominio geopolítico. Por lo tanto, cualquier acuerdo debe basarse en una verificabilidad a toda prueba o ser lo suficientemente limitado como para que una deserción no resulte militarmente existencial. Sospecho que no solo Estados Unidos, sino también China, tendrán estas preocupaciones y temores. Deberíamos abordar cualquier decisión de regulación mundial, sobre todo a corto plazo, de manera que se proteja la ventaja de Estados Unidos y sus aliados.

Existen varios niveles de acuerdo posibles, algunos de los cuales me parecen totalmente factibles (como ya he sugerido) ²⁹, y otros cuya viabilidad dudo mucho, aunque deberíamos intentarlo. Por orden de dificultad creciente.

• Nivel 1. Un acuerdo que prohíba determinados usos específicos y manifiestamente peligrosos de la IA, como su utilización para la fabricación de armas biológicas o permitir que los usuarios lo hagan. Los atentados bioterroristas son perjudiciales para todos, incluidos Estados Unidos y sus adversarios, por lo que probablemente sea posible alcanzar un acuerdo al respecto.
• Nivel 2. Un acuerdo mediante el cual ambas partes pongan a prueba sus modelos antes de su lanzamiento para detectar riesgos graves en ámbitos como la ciberseguridad, la biología y la alineación. Como se ha señalado anteriormente, esto podría llevarse a cabo a través de un organismo mundial de normalización. De hecho, creo que crear un organismo de este tipo es probablemente factible, pero dotarlo de poderes reales supondrá un reto, y la dificultad residirá en verificar que ninguna de las dos partes posea modelos secretos que no esté probando pero que pudiera implementar en secreto (por ejemplo, para aplicaciones militares).
• Nivel 3. Una especie de «límite de velocidad» en el ritmo de la superación recursiva. A medida que los modelos construyen los siguientes, el ritmo de mejora podría volverse vertiginoso. Reducir este ritmo de «extremadamente rápido» a «solo lo suficientemente rápido» solo sacrifica una pequeña ventaja estratégica, al tiempo que mejora potencialmente mucho la seguridad. Se podría establecer una analogía con los tratados SALT. Limitar el número de misiles restringía el potencial destructivo, al tiempo que preservaba la capacidad de disuasión de cada país. Creo que un acuerdo de este tipo sería difícil, pero apenas al límite de lo posible.

Los acuerdos SALT (Strategic Arms Limitation Talks) son los tratados firmados en 1972 y 1979 entre Estados Unidos y la Unión Soviética con el fin de limitar sus arsenales nucleares estratégicos. A menudo se citan como ejemplo para ilustrar el control de armamento entre rivales que no confían entre sí.

• Nivel 4. Una regulación completa del ritmo, o incluso una «pausa», en la que los gobiernos participantes acepten limitar sustancialmente el ritmo global del desarrollo de la IA. Estoy a favor de que se plantee esta idea, pero creo que es poco probable que esto ocurra a corto plazo. Romper un acuerdo de este tipo eludiendo la supervisión podría alterar radicalmente el equilibrio de poder mundial, por lo que preveo que los incentivos para hacerlo sean enormes y que el nivel de confianza necesario en la verificación sea muy elevado.

Cualquier cooperación que logremos establecer con China nos dará más tiempo para regular el ritmo de la frontera dentro de las naciones democráticas. Deberíamos aspirar a los niveles más altos, aunque considerando que los niveles más bajos son mucho más probables y realistas.

Por último, es importante señalar que, aunque no lleguemos a acuerdos formales, el mero hecho de cambiar las normas informales puede tener cierto valor. Compartir información sobre la superación recursiva y la desalineación de los modelos puede ayudar a convencer a todo el mundo de que no le conviene actuar de forma imprudente.

En resumen

Sigo creyendo que la IA puede mejorar enormemente la calidad de vida de las personas. Mi deseo de hacer realidad esos beneficios sigue intacto. Pero esos beneficios solo se obtendrán si desarrollamos la tecnología de la forma adecuada y, siempre que aprovechemos bien el tiempo ganado, merece la pena poner un cuidado excepcionalmente deliberado en lograrlo. El progreso seguirá siendo relativamente rápido, y podemos aprovechar este tiempo para impulsar la ciencia de la interpretabilidad, mejorar la seguridad y el rigor operativo en las empresas pioneras, y construir modelos en cuya alineación tengamos mucha más confianza. Las medidas que propongo para avanzar en la vanguardia a un ritmo seguro no serán fáciles. Pero creo que se lo debemos a la humanidad: tenemos que intentarlo.