Cuando Scott Aaronson fue contratado en OpenAI, Ilya Sutskever, el científico en jefe, le propuso que reflexionara sobre «una definición matemática de lo que significaría, para la IA, amar a la humanidad». Aaronson casi se ríe cuando cuenta esta anécdota. Viene de otro mundo.
Teórico de la informática, fue durante mucho tiempo profesor en el MIT y actualmente es profesor en la Universidad de Texas en Austin. Es uno de los principales especialistas en teoría de la complejidad y computación cuántica. Galardonado con el Premio ACM de Informática en 2020, fue elegido miembro de la Academia Nacional de Ciencias en 2026.
Desde el 2 de agosto, la Ley de IA obliga a los proveedores que operan en la Unión a indicar que los contenidos generados por sus modelos han sido creados o manipulados específicamente por una inteligencia artificial. A raíz de ello, Anthropic ha anunciado la introducción de una marca de agua invisible en los textos generados por Claude, lo que ha reavivado debates ya antiguos: ¿es deseable este tipo de marca? ¿Se puede introducir sin mermar la calidad de las respuestas? ¿Qué grado de resistencia ofrece frente al desarrollo de técnicas diseñadas para borrarla? ¿No sirve, ante todo, para que los laboratorios reconozcan los textos generados por los LLM y, de este modo, entrenen los modelos únicamente con textos escritos por humanos, por temor a que entrenar un modelo con contenidos generados por la IA conduzca precisamente a una disminución de la fiabilidad y la calidad? ¿Planteará, a la larga, la cuestión de la propiedad intelectual?
Le hemos pedido a Scott Aaronson, que lleva trabajando en estos temas desde antes incluso del lanzamiento de ChatGPT, que empiece por el principio. Nos ha contado cómo concibió el «watermarking» y nos ha revelado los motivos por los que se separó de Sam Altman, al tiempo que ha compartido sus inquietudes y sus dudas sobre lo que, en su opinión, parece ser el fin de la era de la investigación matemática «tal y como la conocíamos».
Para recibir nuestras entrevistas y análisis directamente en tu correo electrónico, pruebe una suscripción al Grand Continent, a partir de 8 euros al mes.
Cuando empezó a trabajar para OpenAI en 2022, desarrolló la técnica del «watermarking». Su enfoque influye hoy en día en la mayoría de los grandes laboratorios de IA. ¿Cuál es el principio general y cómo llegó a trabajar en este tema?
La idea de las marcas de agua textuales consiste en modificar muy ligeramente el funcionamiento de un modelo de lenguaje, sin mermar su calidad. Los usuarios obtienen respuestas que se parecen exactamente a las que están acostumbrados con Claude, ChatGPT u otros modelos, pero se incorpora una señal estadística en el generador de aleatoriedad (la función criptográfica pseudoaleatoria) que se utiliza para elegir las palabras. De este modo, resulta mucho más fácil determinar no solo que un texto ha sido generado por una IA, sino también que procede de un modelo concreto.
Mucha gente ha reflexionado sobre esta idea. Que yo sepa, fui el primero en pensar específicamente en las marcas de agua de los LLM. Fue poco después de mi llegada a OpenAI, en el verano de 2022. Me contrataron Ilya Sutskever y Jan Leike, que por entonces dirigían la investigación sobre alineación. Supongo que eran lectores de mi blog. Así fue como me encontraron y me propusieron unirme a ellos. Fue justo antes del lanzamiento de ChatGPT, el 30 de noviembre de 2022.
¿Qué visión tenía entonces sobre el desarrollo de la IA?
Era consciente de lo que estaba pasando. Había probado el GPT-3. Me había impresionado muchísimo, ya en 2020 o 2021, y me preguntaba por qué no había más gente que le prestara más atención.
Pero por aquel entonces, OpenAI aún decía: «Miren, no somos más que una pequeña organización sin ánimo de lucro. Intentamos hacer las cosas bien por el bien de la humanidad y de forma segura».
He aprendido a ser extremadamente cauteloso con lo que leo en internet y a no dar nunca por sentado que un mensaje proviene realmente de la persona que dice ser.
Scott Aaronson
En aquella época me ofrecieron un año durante el cual podía pasar la mayor parte del tiempo en Texas, junto a mis alumnos y mi familia, y limitarme a viajar a San Francisco una vez al mes para reflexionar, entre otras cosas, sobre cómo la informática teórica podía contribuir a la seguridad de la IA.
¿En qué punto se encontraba la investigación sobre estas cuestiones? ¿Era una prioridad garantizar la seguridad de la IA?
En aquel momento, ya había un grupo de personas trabajando en estas cuestiones. De hecho, una buena parte de ellos se había reunido en torno a Paul Christiano, un antiguo alumno que había tenido en el MIT y que, cuando llegué, acababa de dejar OpenAI para crear su propia organización, el Alignment Research Center (ARC).
Paul había logrado demostrar que la clave para garantizar la seguridad de la IA podía encontrarse en la teoría de la complejidad. En parte, eso fue lo que les llevó a interesarse por mí. Pero yo ya veía una dificultad importante: los avances logrados en el control de la IA, la asignación de objetivos y la garantía de su seguimiento fiable eran casi totalmente empíricos.
¿En qué consistía el problema?
Eso no era suficiente: había que enunciar explícitamente los valores y principios que queríamos que respetara la IA, un poco al estilo de las novelas de Isaac Asimov. Para ello, se elaboraron lo que hoy denominamos «constituciones».
Partiendo de estos principios, se puede evaluar empíricamente el efecto de los diferentes enfoques y publicar resultados que demuestren, por ejemplo, que una intervención concreta reduce en un 20 % los comportamientos de trampa, o en un 30 % la propensión del modelo a aceptar ayudar a un usuario a fabricar armas químicas. También se probaban otras vías, como el aprendizaje por refuerzo.
Así pues, ha pasado de su ámbito de especialización inicial, la informática, a lo que podríamos llamar psicología experimental…
Todo ello sin entender realmente lo que estaba pasando. Así que, en el verano de 2022, me puse a pensar en qué podía aportar la teoría a la seguridad de la IA. Me pregunté si era posible hacer algo que tuviera un impacto concreto en el producto. Ese verano fui objeto de una campaña de acoso especialmente violenta en mi blog, llevada a cabo sobre todo por personas que se hacían pasar por mis compañeros de trabajo u otros interlocutores. Entonces aprendí a ser extremadamente cauteloso con lo que leía en internet y a no dar nunca por sentado que un mensaje procedía realmente de la persona cuya identidad afirmaba tener.
¿De qué manera ha influido este acontecimiento en su investigación?
He barajado varias opciones. Una de ellas habría consistido en pedir a las grandes empresas tecnológicas que conservaran un registro de todos los contenidos generados por sus modelos, para poder luego enviarles un texto y plantearles la siguiente pregunta: «¿Han generado ya este contenido?» Una solución así plantearía, evidentemente, cuestiones relacionadas con el respeto a la privacidad. Y aunque pudiera aplicarse sin vulnerar realmente la confidencialidad de los usuarios, seguiría siendo muy difícil convencer al público en general.
Otra idea era abordarlo como un problema más de inteligencia artificial, es decir, entrenar una red neuronal para que distinguiera lo mejor posible entre un texto escrito por un ser humano y uno generado por una IA. Esto ya se ha hecho en gran medida. Una empresa, GPTZero, trabajaba precisamente en ello. Una herramienta que goza hoy en día de gran notoriedad se llama Pangram y muchos profesores la utilizan para intentar determinar si sus alumnos han recurrido a la IA.
Pero ya hacía cuatro años que estaba claro que todas estas herramientas generarían inevitablemente falsos positivos. Sin embargo, incluso con una tasa relativamente baja, de solo un pequeño porcentaje, el problema sigue siendo considerable: cuando una universidad acusa a un estudiante de hacer trampa, debe poder hacerlo con un grado de certeza extremadamente alto. Por lo tanto, es necesario reducir la tasa de falsos positivos a un nivel del orden de un caso por cada mil, o incluso menos.
Eso fue lo que me llevó a pensar en la marca de agua.
¿A partir de qué característica del funcionamiento de los LLM ha desarrollado la técnica de la marca de agua?
El funcionamiento de los LLM es intrínsecamente probabilístico. Todo el mundo puede comprobarlo: puedes enviar varias veces exactamente la misma indicación y obtener una respuesta diferente cada vez. ¿Por qué? Porque la red neuronal Transformer no calcula directamente la siguiente palabra de una frase. Calcula una distribución de probabilidad sobre las diferentes palabras posibles, o más bien los tokens, que podrían seguir a la anterior.
A continuación, en condiciones normales, simplemente extrae un token al azar de esa distribución. Esto proporciona una nueva entrada, que se vuelve a introducir en el LLM. A su vez, este genera una distribución para el siguiente token, extrae uno al azar y así sucesivamente, de forma autorregresiva.
¿Cuál es la relación entre la longitud de una respuesta, su entropía y el nivel de confianza estadística que permite determinar que procede de un modelo concreto?
La generación de texto mediante un LLM conlleva intrínsecamente entropía. Incluso es posible medir su cantidad. La incertidumbre efectiva a la hora de elegir el siguiente token suele ser del orden de un bit por token. En otras palabras, el modelo dispone, en promedio, de un pequeño margen de maniobra para elegir entre varias secuencias plausibles.
Sin embargo, si le pides a ChatGPT que enumere los primeros cien números, puede hacerlo, pero prácticamente no habrá entropía, salvo que juegue con los espacios o los saltos de línea. Por lo tanto, no es un contenido al que realmente se le pueda aplicar una marca de agua. Lo mismo ocurre si le pedimos, por ejemplo, el texto de la Declaración de Independencia.
Pero, en general, cuando le pedimos algo a una IA, aunque en cierto sentido exista una única respuesta correcta, hay varias formas diferentes de expresarla, cuyo número crece exponencialmente con la longitud del texto. Cuanto más largo es el texto, más posibilidades hay, por tanto, de incorporar una señal en él.
Cuando intentas detectar la marca de agua, no tienes acceso a las probabilidades. Tampoco ves la indicación que ha dado lugar a ese texto. Solo ves el texto en sí. A partir de él únicamente, debes ser capaz de calcular si hay una marca de agua. Mejor aún, deberías poder detectar qué partes del texto contienen una marca de agua y cuáles no.
He diseñado un método concreto que permite hacer todo esto. Entre otras cosas, se planteaban cuestiones estadísticas: dada la entropía contenida en esta secuencia de tokens, ¿qué hay que hacer para maximizar la potencia estadística de la marca de agua obtenida por token? Existe un equilibrio entre la probabilidad de un falso positivo y la de un falso negativo. Pero lo que queremos es minimizar la probabilidad de error, y hacerlo con el menor número posible de tokens.
Desarrollé parte de la teoría básica estableciendo una regla para elegir el siguiente token, aplicando un poco de análisis y estadística que tuve que desempolvar de mis años de estudios. Posteriormente, unos investigadores en aprendizaje automático me explicaron que había redescubierto una regla ya conocida en su campo: la regla de Gumbel-Softmax. Así que llamé a mi método el esquema de Gumbel-Softmax. Nunca se había utilizado con este fin.
Mucha gente piensa que, necesariamente, existe un compromiso entre la marca de agua y la calidad de la respuesta. ¿Por qué es errónea esta intuición?
De inmediato, algunas personas plantearon esta objeción sobre el compromiso entre la marca de agua y la calidad del texto, al considerar que las probabilidades se verían sesgadas en una determinada dirección, lo que alteraría la calidad de la respuesta.
Me di cuenta de que ese compromiso no existía. Basta con sustituir la entropía utilizada para elegir el siguiente token por un generador pseudoaleatorio de un tipo concreto, que favorezca ciertas combinaciones extrañas de tokens en lugar de otras. Se favorecerán ciertos n-gramas, por ejemplo, una secuencia de cinco tokens consecutivos, mientras que otros quedarán en desventaja.
En OpenAI me decían: «Nuestra misión es evitar que la IA destruya a la humanidad. ¿De verdad nos preocupan tanto los estudiantes que copian las tareas?».
Scott Aaronson
Pero, dado que esta elección se basa en una función pseudoaleatoria, resulta imperceptible para un lector común. Incluso se puede afirmar algo más contundente: la respuesta puede hacerse criptográficamente indistinguible de una respuesta normal del LLM. Yo no lo había demostrado del todo, pero investigadores como Sam Gunn, Miranda Christ u Or Zamir, muchos de los cuales estaban en Berkeley, continuaron posteriormente mi trabajo para demostrar que era posible obtener una verdadera indistinguibilidad criptográfica.
A continuación, quedaba por resolver un interesante problema matemático para determinar exactamente cómo seleccionar de forma pseudoaleatoria el siguiente token, de modo que se mantuviera la misma distribución aparente, al tiempo que se incorporaba una señal que pudiera detectarse posteriormente.
¿Cómo han abordado las grandes empresas farmacéuticas la cuestión de la marca de agua?
OpenAI me había asignado a un ingeniero, Hendrik Kirchner. Él desarrolló una implementación de mi método y la probamos. Parecía funcionar exactamente como predecía la teoría. Por mi parte, impartía conferencias públicas para dar a conocer el tema.
Fue precisamente en ese momento cuando se lanzó ChatGPT. Entonces surgió la duda de si OpenAI iba a implementar realmente esa tecnología. Nunca llegó a hacerlo. Durante el resto de mi estancia en OpenAI, a veces volvía a insistir en el tema. Incluso le planteé el tema directamente a Sam Altman.
¿Por qué defendió la implantación de la marca de agua?
Para empezar, mis compañeros de la universidad me insistían en que lo hiciera. En 2023, preveían una avalancha de trabajos de estudiantes generados por IA, y la situación no ha hecho más que empeorar desde entonces.
Se me ocurrían todo tipo de usos indebidos que se podrían dar a los grandes modelos de lenguaje (LLM). El fraude académico era quizá el más evidente, pero también estaban la suplantación de identidad o el phishing.
Las cosas no siempre son tan simples. En OpenAI se repetía con frecuencia un argumento en el que yo no había pensado: «Hay muchas personas cuyo inglés no es su lengua materna y que utilizan GPT para mejorar su fluidez en este idioma. Si todas las respuestas llevaran una marca de agua, incluso se podría considerar que es discriminatorio imponerles eso».
Así pues, sí que hubo una decisión de este tipo. Pero tenía la sensación de que, para la gran mayoría de mis colegas universitarios, una vez explicado el problema, la respuesta era obvia: claro que había que hacerlo.
Le planteé el tema de la marca de agua directamente a Sam Altman. OpenAI nunca lo ha implementado.
Scott Aaronson
Los equipos comerciales de OpenAI han realizado encuestas entre los usuarios y una proporción nada desdeñable simplemente detesta la idea de las marcas de agua. Aplicarlas suponía correr el riesgo de que se marcharan a un gran modelo de lenguaje (LLM) de la competencia. Creo que fue este argumento el que finalmente inclinó la balanza en OpenAI.
El equipo encargado de la seguridad y la alineación nunca se mostró especialmente entusiasmado, porque razonaba así: «Nuestra misión es evitar que la IA se salga de control y destruya a la humanidad. ¿De verdad nos preocupan tanto los estudiantes que copian las tareas? Quizá las tareas tengan que cambiar de todos modos, o incluso desaparecer».
Mucha gente intuía que la batalla estaba perdida de antemano. ¿Para qué siquiera intentarlo? Pero yo pensaba que el costo social era muy bajo y que, si lográbamos convencer a las empresas de IA para que se coordinaran en este tema, eso enviaría una señal positiva.
Tras el anuncio de Anthropic, un repositorio de GitHub titulado «Watermarks Remover for AI Content» ha alcanzado unas 11.000 estrellas. ¿Estamos condenados a entrar en un juego del gato y el ratón entre la inserción y la eliminación de marcas de agua?
La otra pregunta que nos planteamos fue la siguiente: ¿realmente vale la pena hacerlo? En cuanto lo hagamos, la gente tomará contramedidas. Encontrarán formas de eliminar la marca de agua. No tenía una respuesta muy convincente, porque es cierto que, con un mínimo de esfuerzo, se pueden eliminar.
La forma más sencilla de hacerlo sería pedirle a ChatGPT: «Escribe mi trabajo, pero en español o en francés», o en cualquier otro idioma. A continuación, introduce el resultado en Google Translate. Así obtendrás un documento completamente diferente al que llevaba incorporada la marca de agua.
Otro método consiste en pedirle a ChatGPT: «Escribe mi trabajo, pero inserta la palabra “piña” entre cada palabra». Después, basta con eliminar todas las «piñas». Esto puede reducir ligeramente la calidad, pero, en general, funciona.
En cualquier tipo de marca de agua que se base únicamente en la secuencia de n-gramas, se obtiene entonces una secuencia de n-gramas totalmente diferente. Y es muy fácil imaginar que haya gente que cree en internet herramientas que faciliten aún más esta manipulación. Ya existen todo tipo de herramientas que ayudan a eludir los detectores de IA.
Puesto que eso va a ocurrir de todos modos, ¿por qué molestarse? Hay muchas cosas que hacemos simplemente para añadir un poco de resistencia. Cerramos las puertas con llave. ¿Alguien puede forzar la cerradura? Sí, pero eso añade resistencia al proceso. También cabría preguntarse por qué Google no abandona simplemente la lucha que lleva décadas librando contra los especialistas en posicionamiento web, el SEO. Simplemente intenta ponerles las cosas más difíciles. Así que pensé que quizá valía la pena intentarlo.
Ha presentado el «watermarking» semántico como una línea de investigación importante: se trataría de codificar la procedencia a nivel de significado, en lugar de a nivel de la elección de cada token. ¿Cómo sería, concretamente, el «watermarking» semántico?
Me di cuenta de que, si queríamos una marca de agua capaz de resistir el ataque de Google Translate, el ataque «piña» o algo por el estilo, habría que incorporar realmente una señal a nivel de los conceptos subyacentes, en lugar de a nivel de los tokens.
No tenía ni idea de cómo hacerlo. Sin embargo, hay ideas y cosas que se pueden probar, ya que, dentro de los LLM, los conceptos se representan en forma de vectores en espacios de gran dimensión. Así pues, se podría intentar alterar ligeramente esos vectores, desplazándolos para insertar una marca de agua.
A diferencia de mi método, en este caso no tendríamos ninguna garantía teórica de que funcione. Pero podemos comprobarlo de forma empírica.
Se han logrado avances en este ámbito: algunos métodos de marca de agua semántica parecen funcionar realmente y presentar un cierto grado de solidez. No obstante, en mi opinión, sigue siendo un campo de investigación muy activo. No es lo que ha implementado Anthropic. Pero quizá tengan que ponerse manos a la obra en el futuro si su método actual resulta demasiado fácil de eludir.
La Unión Europea hace hincapié en la interoperabilidad de la marca de agua. ¿Cómo ve usted el problema de la coordinación entre los distintos proveedores?
Al final de mi etapa en OpenAI, me di cuenta de que, sin duda, no podía resolver ese problema de coordinación. De hecho, hablé sobre la marca de agua con gente de DeepMind y Anthropic. Anthropic no parecía muy interesada en aquel momento, en 2023. Por supuesto, me alegra ver que ahora sí han implantado el sistema de marcas de agua.
Lo que yo había propuesto llevó a Google a desarrollar SynthID. SynthID se parecía mucho a mi propuesta, con una única diferencia: Google nunca ha puesto a disposición del público una herramienta que permita detectar las marcas de agua. Hay que solicitarlo expresamente. Algunos académicos que conocía y que habían solicitado dicho acceso nunca obtuvieron respuesta.
Está bastante claro que estamos viviendo el último año de investigación en matemáticas e informática teórica tal y como la conocíamos.
Scott Aaronson
Este fue otro tema de debate en OpenAI. Si utilizamos marcas de agua, ¿permitimos que cualquiera pueda detectarlas? ¿O hay que ser profesor o periodista para tener acceso a ellas? En ese caso, habría que crear toda una infraestructura para decidir quién tiene ese acceso.
Pensé que seguramente no tenía ni la influencia ni la habilidad política necesarias para convencer a OpenAI de que hiciera eso. Su razonamiento era: «¿Por qué íbamos a hacerlo si ni Anthropic ni DeepMind lo hacen?». Quizá los tres deban hacerlo al mismo tiempo, pero entonces se convierte en un problema de coordinación.
¿Es más adecuado intentar imponerlo por ley?
Ya he tenido ocasión de hablar con algunos representantes políticos californianos que querían que las marcas de agua fueran obligatorias. De hecho, California ha aprobado una ley que impone el uso de marcas de agua, pero solo para los contenidos audiovisuales, quedando exentos los contenidos textuales.
Pero, aparte de California, ¿quién más podría desear una ley así? El gobierno federal de Estados Unidos no tiene intención de imponer una medida de este tipo. El otro candidato obvio ha sido la Unión Europea, que ha incluido el «watermarking» en la Ley de Inteligencia Artificial (AI Act), pero los detalles no parecen estar claros.
¿Por qué?
Parte de la dificultad es de carácter jurídico: si se hacen obligatorias las marcas de agua, ¿qué técnica concreta hay que imponer? ¿Y qué ocurre si la técnica establecida en la ley se elude posteriormente? Se podría argumentar que hay que hacer todo lo posible o utilizar el mejor método disponible en cada momento. Pero, ¿cómo plasmar en la ley una obligación tan cambiante?
Recientemente ha escrito que se trataba «bastante claramente del último año de investigación en matemáticas e informática teórica tal y como la conocíamos». ¿Qué cambios cabe esperar?
La semana pasada volví a OpenAI por primera vez desde 2024. Estaban organizando un taller sobre el futuro de las matemáticas. Este verano hemos sido testigos de algo realmente espectacular: cada vez son más los problemas matemáticos importantes que se resuelven bien con la ayuda de modelos de IA, bien exclusivamente gracias a ellos.
Todavía no saben hacerlo todo. Pero si comparas la situación con la de hace tres años, cuando aún tenían dificultades con las matemáticas básicas y cometían errores triviales, verás que hoy en día realizan investigación matemática de alto nivel.
Si proyectamos esta trayectoria hacia el futuro, dentro de unos años, ello conducirá a una transformación completa de la naturaleza de nuestro trabajo como matemáticos o investigadores en informática teórica. En el mejor de los casos, podremos seguir aportando nuestra experiencia científica, determinar qué grandes líneas de investigación son interesantes y cuáles no, comprender los resultados y explicarlos.
Pero en lo que respecta a resolver de forma efectiva problemas claramente formulados, ahora disponemos de modelos que son mejores que todos los seres humanos, quizá con la excepción de unos pocos. Del mismo modo que la programación ha cambiado drásticamente en los últimos dos años, parece que la investigación matemática está a punto de experimentar la misma transformación.
¿Qué reflexiones le suscita eso?
Le doy muchas vueltas a esto. Obviamente, pienso en ello en relación con mis alumnos. ¿En qué debo formarlos? ¿Qué competencias les serán útiles en el mundo hacia el que nos dirigimos?
Es una cuestión sobre la que prácticamente todos los investigadores en matemáticas ya reflexionan o deberían reflexionar.
¿Cómo prepararse para esta transformación?
Uno de los debates importantes que se están manteniendo en la actualidad gira en torno a las normas de publicación de los trabajos generados por la IA. Todavía no lo hemos decidido.
Hubo ese famoso caso de la conjetura de Jacob, refutada por alguien que simplemente había publicado en Twitter: «Hola. Estaba viendo el Mundial y mi amigo Fable encontró el siguiente contraejemplo a esta conjetura centenaria». Fue muy divertido, pero imagino que, en el futuro, esa no será la forma habitual de dar a conocer este tipo de resultados.
¿Deberíamos publicarlos en forma de artículos de investigación? Pero entonces habrá tantos artículos generados por IA que no habrá gente suficiente para leerlos todos. ¿Acabaremos teniendo simplemente artículos escritos por IA y evaluados por IA? ¿Se subirán a servidores de prepublicaciones?
Es un poco como en El Señor de los Anillos, cuando los habitantes fortifican sus ciudades antes de la invasión de los orcos.
Scott Aaronson
¿Decidimos que, para que se publique en una revista, un resultado puede haber sido descubierto por una IA, pero que, a continuación, un ser humano debe haber asimilado la idea y ser capaz de explicársela a otros seres humanos? ¿O es necesario que un ser humano asuma la responsabilidad si el resultado es erróneo? Todavía estamos tratando de determinar cuáles deberían ser esas normas.
He hablado con personas que forman parte, por ejemplo, de los comités de programa de las grandes conferencias de informática teórica. Es un poco como en El Señor de los Anillos, cuando los habitantes fortifican sus ciudades antes de la invasión de los orcos. Esperan recibir miles de propuestas generadas por IA en la próxima ronda de conferencias, y no tienen ni idea de cómo van a gestionar eso, ya que, sencillamente, no habrá suficiente gente para evaluarlas.
Por lo tanto, se verán obligados a recurrir, en parte, a la IA.
¿Cree que es importante preservar el papel de los seres humanos en la investigación, o simplemente ralentizarán el proceso de descubrimiento?
Creo que es muy importante seguir reflexionando sobre el mundo en el que queremos vivir y el papel que queremos desempeñar en él. A la larga, esta cuestión trasciende con creces el ámbito de la carrera profesional de los matemáticos o de los investigadores en informática teórica. Para nuestro pequeño mundo, evidentemente es importante, pero se trata de cuestiones a las que se enfrentará toda la humanidad.
¿De verdad queremos que los robots se encarguen de todos los trabajos si son capaces de realizarlos mejor que nosotros? ¿Y qué tipo de mundo nos quedaría entonces? ¿Una utopía en la que se satisfacen todas nuestras necesidades y en la que simplemente podemos disfrutar de nuestro tiempo libre? ¿O una distopía en la que los robots acabarían preguntándose: «En el fondo, ¿para qué seguimos necesitando a los humanos, para qué seirven»?
Mientras sigamos planteándonos estas preguntas o mientras no podamos garantizar la seguridad de la IA, entonces sí, sin duda: queremos, como mínimo, contar con personas que tengan las competencias suficientes para poder comprender, en la medida de lo posible, lo que hacen las IA.
Y si las IA empiezan a elaborar estrategias en nuestra contra o, por ejemplo, a proporcionarnos pruebas matemáticas que parecen correctas, pero que en realidad son sutilmente erróneas porque persiguen otro objetivo, tendremos que ser capaces de detectarlo.
