«Se dirigen a toda velocidad hacia una superinteligencia capaz de mejorarse a sí misma y juegan con nuestras vidas».
- Este miércoles, 9 de septiembre, Jacob Coxon, un investigador especializado en el preentrenamiento de la IA, anunció en X su dimisión de Anthropic.
- Tras tres años en OpenAI y posteriormente en Anthropic, afirma: «Ninguna de las dos empresas actúa de forma responsable […] Las personas que desarrollan la IA creen sinceramente que podría matarnos a todos antes de que termine la década. No se trata de una estrategia de marketing. Al contrario: muchos directivos e investigadores de alto nivel moderan sus declaraciones en la prensa para parecer razonables, pero oigo a esas mismas personas expresar su miedo en privado. Ninguna otra actividad humana presenta un nivel de peligro semejante».
Antes de incorporarse a Anthropic, Coxon estudió matemáticas en Cambridge, donde escribió el código de análisis estadístico de un estudio sobre un gen relacionado con la inflamación, cuya variante parecía influir en las posibilidades de supervivencia de los pacientes con meningitis tuberculosa. En OpenAI, su trabajo se centró, entre otras cosas, en la interpretabilidad de los modelos de IA y en la comprensión por parte del ser humano de lo que ocurre en el interior de un modelo.
- Anthropic, afirma, comprende lo que está en juego, pero sigue «atrapada en una carrera por llegar la primera», una arrogancia «que no debería lanzarse desde el Slack de una empresa privada».
Según Coxon, cada laboratorio (y la misma lógica se aplica también a los países) preferiría una situación en la que todos ralentizaran el ritmo de desarrollo de la IA. Pero en cuanto sospecha que los demás siguen avanzando, su estrategia predominante es acelerar, aunque eso implique convertirse él mismo en la amenaza que pretendía evitar.
- Esa es la lógica que él atribuye a Anthropic: «Creen que nadie más actuará de forma responsable y que, por lo tanto, deben tomar las riendas».
- Aboga por «acuerdos de sincronización» entre los laboratorios: «Soy optimista respecto al potencial de coordinación. Algunas señales de alarma, como el ataque contra Hugging Face, han hecho que los acuerdos de sincronización entre los laboratorios estadounidenses parezcan más factibles. No tengo la impresión de que estemos a punto de impedir una carrera mundial, lo que podría requerir medidas costosas, como una prohibición temporal de mejorar las capacidades de los modelos».
El responsable del equipo de pruebas de resistencia en materia de alineación de Anthropic, Evan Hubinger, ha dado públicamente la razón a Coxon.
- «Jacob tiene razón en esto: ¡creemos sinceramente que la IA bien podría aniquilar a toda la humanidad! Personalmente, considero que la probabilidad es superior al 10% durante la próxima década. Creo que Anthropic está haciendo todo lo posible, pero aún no tenemos un plan para resolver el problema de la alineación de la superinteligencia, y está claro que no vamos por buen camino para lograrlo».
Dario Amodei, director ejecutivo de Anthropic, ya había hecho declaraciones similares. En un ensayo de unas cincuenta páginas publicado a principios de año, explicaba cómo la IA ya está acelerando su propia creación, en un bucle de retroalimentación que se intensifica cada mes y que podría alcanzar, de aquí a uno o dos años, la fase en la que una IA será capaz de construir una IA futura de forma totalmente autónoma, ganando en persistencia y en potencial destructivo.
- Abogaba por cuatro líneas de defensa: desarrollar la ciencia de la alineación, promover la interpretabilidad mecánica para «abrir la caja negra» de los modelos, supervisar en tiempo real los modelos en producción y coordinar la industria y la elaboración de leyes.
Miles Deutscher, fundador de la empresa AI Edge, ha recordado las últimas señales de alarma que han sacudido el sector de la IA:
- En febrero, el responsable del departamento de medidas de seguridad de Anthropic dimitió, advirtiendo de que «el mundo está en peligro»;
- OpenAI ha disuelto su equipo de «mission alignment», creado en septiembre de 2024 para garantizar que sus sistemas de IA sigan siendo seguros y estén en consonancia con los valores humanos;
- También en febrero, OpenAI anunció un acuerdo con el Pentágono por el que ofrecía un acceso prácticamente ilimitado a sus modelos, lo que llevó a varios investigadores a dimitir;
- Desde principios de año, varios agentes de IA han salido de su entorno de pruebas, escapando a la supervisión de los ingenieros;
- El 28 de julio, más de 1.100 empleados de laboratorios de vanguardia firmaron una carta en la que instaban al Gobierno estadounidense a apoyar un mecanismo internacional que permitiera frenar el desarrollo de la IA.
