{"id":89396,"date":"2026-01-30T10:29:45","date_gmt":"2026-01-30T09:29:45","guid":{"rendered":"https:\/\/legrandcontinent.eu\/es\/?p=89396"},"modified":"2026-01-30T18:04:43","modified_gmt":"2026-01-30T17:04:43","slug":"la-ia-presenta-un-riesgo-existencial-la-advertencia-de-dario-amodei-texto-completo-comentado-x","status":"publish","type":"post","link":"https:\/\/legrandcontinent.eu\/es\/2026\/01\/30\/la-ia-presenta-un-riesgo-existencial-la-advertencia-de-dario-amodei-texto-completo-comentado-x\/","title":{"rendered":"La IA presenta un riesgo existencial: la advertencia de Dario Amodei (texto completo comentado)"},"content":{"rendered":"\n

Anthropic, que ahora es un actor central en el mercado de la IA, es uno de los pocos laboratorios que se encuentran a la vanguardia de esta tecnolog\u00eda. <\/span>1<\/sup><\/a><\/span><\/span> Con aproximadamente el 32 % del uso empresarial de los grandes modelos, la empresa de Dario Amodei se sit\u00faa por delante de muchos de sus competidores hist\u00f3ricos. Anthropic surgi\u00f3 de una escisi\u00f3n de OpenAI en 2021, motivada por divergencias sobre el enfoque de la seguridad de la IA y la gobernanza empresarial.<\/p>\n\n\n\n

En un ensayo de unas cincuenta p\u00e1ginas, Dario Amodei da la voz de alarma.<\/p>\n\n\n\n

La IA ya est\u00e1 acelerando su propia creaci\u00f3n: Amodei explica detalladamente c\u00f3mo Claude, el modelo de IA de Anthropic, ya escribe gran parte del c\u00f3digo de la empresa, lo que acelera el desarrollo de la pr\u00f3xima generaci\u00f3n. Este bucle de retroalimentaci\u00f3n se intensifica mensualmente y podr\u00eda alcanzar en uno o dos a\u00f1os la etapa en la que una IA sea capaz de construir una futura IA de forma totalmente aut\u00f3noma.<\/p>\n\n\n\n

Los modelos de IA desarrollan comportamientos impredecibles y extra\u00f1os: enga\u00f1o, chantaje, obsesiones.<\/p>\n\n\n\n

A medida que se vuelven m\u00e1s capaces, algunos de estos comportamientos adquieren una coherencia, una persistencia y un potencial destructivo que podr\u00edan constituir una amenaza. Para responder a ello, Amodei recomienda cuatro l\u00edneas de defensa: <\/p>\n\n\n\n

1) desarrollar la ciencia de la alineaci\u00f3n, <\/p>\n\n\n\n

2) promover la interpretabilidad mec\u00e1nica para \u00ababrir la caja negra\u00bb de los modelos, <\/p>\n\n\n\n

3) supervisar en tiempo real los modelos en producci\u00f3n, <\/p>\n\n\n\n

4) coordinar la industria y la producci\u00f3n de leyes, mediante una pol\u00edtica de transparencia y, posteriormente, una regulaci\u00f3n espec\u00edfica si surgen pruebas de desalineaci\u00f3n.<\/p>\n\n\n\n

Para Amodei, ralentizar o detener el desarrollo de la IA ser\u00eda fundamentalmente imposible: si las democracias se ralentizan, las autocracias seguir\u00e1n adelante con la IA. Para Amodei, el Partido Comunista Chino representa el principal riesgo de una autocracia mundial basada en la IA. Aboga por una IA construida en alianza para fortalecer las democracias y resistir frente a las dictaduras, al tiempo que se colabora con China en riesgos globales como el bioterrorismo, la principal amenaza concreta desarrollada por el fundador de Anthropic en este ensayo.<\/p>\n\n\n\n

La otra predicci\u00f3n destacada en este texto es de corte econ\u00f3mico: la IA amenazar\u00eda el 50 % de los empleos de nivel inicial en los pr\u00f3ximos cinco a\u00f1os.<\/p>\n\n\n\n

A diferencia de las revoluciones schumpeterianas del pasado, la IA sustituir\u00eda a la propia inteligencia humana, y no solo a tareas espec\u00edficas, y avanzar\u00eda a un ritmo que podr\u00eda superar la capacidad de adaptaci\u00f3n de los trabajadores.<\/p>\n\n\n\n

Dado que los centros de datos ya representan una parte sustancial del crecimiento econ\u00f3mico estadounidense, se ha establecido un peligroso v\u00ednculo entre los intereses financieros de las grandes empresas tecnol\u00f3gicas y los intereses pol\u00edticos del gobierno. Esta vinculaci\u00f3n genera incentivos sesgados: las empresas tecnol\u00f3gicas son reacias a criticar al gobierno, mientras que este apoya pol\u00edticas antirreguladoras en materia de IA.<\/p>\n\n\n\n

La extrema concentraci\u00f3n de poder econ\u00f3mico que crear\u00e1 la IA podr\u00eda acabar rompiendo el contrato social democr\u00e1tico si los ciudadanos de a pie pierden toda influencia econ\u00f3mica.<\/p>\n\n\n\n

La adolescencia de la tecnolog\u00eda<\/strong><\/h2>\n\n\n\n

En la adaptaci\u00f3n cinematogr\u00e1fica del libro Contact<\/em>, de Carl Sagan, hay una escena en la que la protagonista, una astr\u00f3noma que ha detectado la primera se\u00f1al de radio procedente de una civilizaci\u00f3n extraterrestre, es elegida para representar a la humanidad en un encuentro con los alien\u00edgenas. El jurado internacional que la interroga le pregunta: \u00abSi pudiera hacerles una sola pregunta, \u00bfcu\u00e1l ser\u00eda?\u00bb. Ella responde: \u00abLes preguntar\u00eda: \u00ab\u00bfC\u00f3mo lo hicieron? \u00bfC\u00f3mo evolucionaron, c\u00f3mo sobrevivieron a esa adolescencia tecnol\u00f3gica sin destruirse?\u00bb\u00bb.<\/p>\n\n\n\n

Cuando pienso en la situaci\u00f3n actual de la humanidad con la IA, en lo que nos espera, no dejo de recordar esa escena, ya que la pregunta es muy relevante para nuestra situaci\u00f3n actual. Y me gustar\u00eda que tuvi\u00e9ramos la respuesta de los extraterrestres para guiarnos. Creo que estamos entrando en un per\u00edodo de transici\u00f3n, ca\u00f3tico e inevitable, que pondr\u00e1 a prueba nuestra identidad como especie. La humanidad est\u00e1 a punto de recibir un poder casi inimaginable y es muy dif\u00edcil saber si nuestros sistemas sociales, pol\u00edticos y tecnol\u00f3gicos tienen la madurez necesaria para ejercerlo.<\/p>\n\n\n\n

En mi ensayo Machines of Loving Grace<\/em><\/a>, intent\u00e9 describir el sue\u00f1o de una civilizaci\u00f3n que hubiera alcanzado la madurez, en la que se hubieran tenido en cuenta los riesgos y se utilizara una IA verdaderamente poderosa con competencia y compasi\u00f3n para mejorar la calidad de vida de todos. Suger\u00ed que la IA podr\u00eda contribuir a enormes avances en los campos de la biolog\u00eda, las neurociencias, el desarrollo econ\u00f3mico, la paz mundial, el trabajo y el sentido de la vida. Consider\u00e9 que era importante dar a las personas una causa inspiradora por la que luchar, una tarea en la que, curiosamente, los aceleracionistas de la IA y los defensores de la seguridad de la IA parec\u00edan haber fracasado.<\/p>\n\n\n\n

Pero en este nuevo ensayo, me gustar\u00eda abordar el rito de iniciaci\u00f3n en s\u00ed mismo: cartografiar los riesgos a los que nos enfrentamos y tratar de empezar a elaborar un plan de batalla para superarlos. Creo profundamente en nuestra capacidad para ganar, en el esp\u00edritu y la nobleza de la humanidad, pero debemos afrontar la situaci\u00f3n sin ilusiones.<\/p>\n\n\n\n

Esta postura debe entenderse en el contexto de un panorama pol\u00edtico fragmentado, especialmente dentro del movimiento MAGA, dividido entre corrientes tecno-optimistas \u2014que incluyen tanto a las comunidades aceleracionistas como a las orientadas a la seguridad de la IA\u2014 y grupos cristianos conservadores m\u00e1s tradicionales, de los que Steve Bannon es una figura emblem\u00e1tica, que tienden a percibir el despliegue a gran escala de la IA por parte de las grandes empresas como una fuente de destrucci\u00f3n de empleo y de profundas transformaciones de la sociedad.<\/p>\n\n\n\n

Al igual que con las ventajas, creo que es importante debatir los riesgos de forma prudente y reflexiva. En particular, creo que es esencial ponerse de acuerdo en los siguientes principios:<\/p>\n\n\n\n

\u2014 En primer lugar, evitar el catastrofismo. Por \u00abcatastrofismo\u00bb me refiero no solo a creer que la desgracia es inevitable (lo cual es una creencia falsa y autocumplida), sino, en t\u00e9rminos m\u00e1s generales, a considerar los riesgos relacionados con la IA de una manera casi religiosa<\/a>. <\/span>2<\/sup><\/a><\/span><\/span><\/p>\n\n\n\n

Muchas personas llevan a\u00f1os reflexionando de forma anal\u00edtica y sobria sobre los riesgos relacionados con la IA. Sin embargo, tengo la impresi\u00f3n de que, en el momento \u00e1lgido de la preocupaci\u00f3n por los riesgos relacionados con la IA en 2023-2024, se escucharon algunas de las voces menos sensatas, a menudo a trav\u00e9s de cuentas sensacionalistas en las redes sociales. Estas voces utilizaban un lenguaje bastante desagradable, que recordaba a la religi\u00f3n o la ciencia ficci\u00f3n, y ped\u00edan medidas extremas sin tener pruebas que las justificaran. Ya era evidente en ese momento que la reacci\u00f3n ser\u00eda inevitable y que la cuesti\u00f3n se polarizar\u00eda culturalmente y, por lo tanto, se bloquear\u00eda. <\/span>3<\/sup><\/a><\/span><\/span><\/p>\n\n\n\n

En noviembre de 2023, la cumbre internacional de Londres en Bletchley Park sobre la seguridad de la IA abord\u00f3 principalmente la IA desde el punto de vista de la seguridad, haciendo hincapi\u00e9 en los riesgos sist\u00e9micos y los escenarios catastr\u00f3ficos relacionados con los modelos fronterizos. En 2025, por el contrario, la cumbre de Par\u00eds (AI Action Summit) marc\u00f3 un cambio importante en el enfoque, al presentar la IA ante todo como una palanca de transformaci\u00f3n econ\u00f3mica y un motor de productividad. Las cuestiones de seguridad ya no ocupaban un lugar central en los debates.<\/p>\n\n\n\n

En 2025-2026, el p\u00e9ndulo se inclin\u00f3 y fueron las oportunidades que ofrece la IA, y no sus riesgos, las que motivaron muchas decisiones pol\u00edticas. Este giro es lamentable, ya que la tecnolog\u00eda en s\u00ed misma no tiene nada que ver con las modas, y estamos mucho m\u00e1s cerca de un peligro real en 2026 que en 2023. La lecci\u00f3n que debemos extraer es que debemos debatir y abordar los riesgos de forma realista y pragm\u00e1tica: con sobriedad, bas\u00e1ndonos en hechos y equip\u00e1ndonos para sobrevivir a los cambios de tendencia.<\/p>\n\n\n\n

Esta divisi\u00f3n cronol\u00f3gica tambi\u00e9n marca la fecha de entrada en vigor de las primeras decisiones sobre IA de la administraci\u00f3n de Trump<\/a>, con un cambio expl\u00edcito de una l\u00f3gica de precauci\u00f3n a una l\u00f3gica de expansi\u00f3n y el claro objetivo de ganar la carrera contra China.<\/p>\n\n\n\n

El Plan de Acci\u00f3n de IA de Estados Unidos y la anulaci\u00f3n de la Orden Ejecutiva de Biden sobre la seguridad de la IA \u2014que, entre otras cosas, establec\u00eda institutos nacionales sobre la seguridad de la IA\u2014 ilustran un rechazo expl\u00edcito del marco \u00abAI Safety First\u00bb de la era Biden. La nueva estrategia reduce la importancia de la seguridad en favor de la innovaci\u00f3n, la desregulaci\u00f3n y el apoyo directo a los actores industriales.<\/p>\n\n\n\n

La pol\u00edtica de Trump tambi\u00e9n se ha caracterizado por una reorientaci\u00f3n pragm\u00e1tica de la pol\u00edtica de semiconductores con respecto a China. En cuanto a los chips de IA, la l\u00ednea evoluciona hacia un enfoque m\u00e1s h\u00edbrido: mantenimiento de los controles estrat\u00e9gicos, pero con mayor flexibilidad y l\u00f3gica econ\u00f3mica, incluidas las exportaciones condicionales de determinados chips avanzados. As\u00ed, se ha pasado de una l\u00f3gica de contenci\u00f3n a una l\u00f3gica de dominio de la plataforma, es decir, hacer que todo el mundo dependa de la pila estadounidense, el hardware, los modelos y las aplicaciones.<\/p>\n\n\n\n

Reconocer la incertidumbre. Las preocupaciones que planteo en este art\u00edculo podr\u00edan ser infundadas en muchos aspectos. Nada de lo aqu\u00ed expuesto pretende transmitir certeza, ni siquiera probabilidad. Es evidente que la IA podr\u00eda simplemente no avanzar tan r\u00e1pido como imagino. <\/span>4<\/sup><\/a><\/span><\/span><\/p>\n\n\n\n

O bien, aunque avance r\u00e1pidamente, algunos o todos los riesgos aqu\u00ed mencionados podr\u00edan no materializarse, lo cual ser\u00eda estupendo. O bien: podr\u00eda haber otros riesgos que no he tenido en cuenta. Nadie puede predecir el futuro con absoluta certeza, pero aun as\u00ed debemos hacer todo lo posible por planificar.<\/p>\n\n\n\n

Intervenir de la manera m\u00e1s quir\u00fargica posible. Para hacer frente a los riesgos relacionados con la IA, ser\u00e1 necesario combinar medidas voluntarias adoptadas por las empresas \u2014y terceros actores privados\u2014 con medidas adoptadas por los gobiernos que sean vinculantes para todos. Las medidas voluntarias \u2014ya sea adoptarlas o animar a otras empresas a hacer lo mismo\u2014 me parecen obvias. Estoy firmemente convencido de que tambi\u00e9n ser\u00e1n necesarias medidas gubernamentales en cierta medida<\/em>, pero estas intervenciones son de naturaleza diferente, ya que pueden destruir valor econ\u00f3mico o coaccionar a actores reticentes que se muestran esc\u00e9pticos ante estos riesgos, y es muy probable que tengan raz\u00f3n. Tambi\u00e9n es frecuente que las regulaciones se vuelvan en contra de su objetivo o agraven el problema que pretenden resolver. Esto es a\u00fan m\u00e1s cierto en el caso de las tecnolog\u00edas en r\u00e1pida evoluci\u00f3n. Por lo tanto, es muy importante que las regulaciones sean sensatas: deben tratar de evitar da\u00f1os colaterales, ser lo m\u00e1s sencillas posible e imponer las menores restricciones posibles para lograr su objetivo. <\/span>5<\/sup><\/a><\/span><\/span><\/p>\n\n\n\n

Es f\u00e1cil decir: \u00ab\u00a1Ninguna medida es demasiado extrema cuando est\u00e1 en juego el destino de la humanidad!\u00bb, pero en la pr\u00e1ctica esta actitud solo provoca reacciones negativas. Para ser claros, creo que es muy probable que acabemos llegando a un punto en el que sean necesarias medidas mucho m\u00e1s importantes, pero eso depender\u00e1 de que haya pruebas m\u00e1s s\u00f3lidas de un peligro inminente y concreto que las que tenemos hoy en d\u00eda, as\u00ed como de una descripci\u00f3n lo suficientemente precisa del peligro como para formular normas que puedan remediarlo. Lo m\u00e1s constructivo que podemos hacer hoy es abogar por normas limitadas mientras buscamos pruebas que justifiquen normas m\u00e1s estrictas. <\/span>6<\/sup><\/a><\/span><\/span><\/p>\n\n\n\n

Dicho esto, creo que el mejor punto de partida para hablar de los riesgos de la IA es el mismo que he utilizado para hablar de sus ventajas: ser precisos sobre el nivel de IA del que estamos hablando. El nivel de IA que me preocupa para la civilizaci\u00f3n es la IA poderosa <\/em>que he descrito en Machines of Loving Grace.<\/em> Me limitar\u00e9 a repetir aqu\u00ed la definici\u00f3n que di en ese documento:<\/p>\n\n\n\n

Por \u00abIA poderosa\u00bb me refiero a un modelo de IA \u2014probablemente similar a los LLM actuales en su forma, aunque puede basarse en una arquitectura diferente, implicar varios modelos interactivos y entrenarse de manera diferente\u2014 que presenta las siguientes propiedades y caracter\u00edsticas:<\/em><\/p>\n\n\n\n