¿Quién se esconde realmente detrás del caso Thélyson Orélien?

Pruebe el Grand Continent. Ideas y análisis que no se encuentran en ningún otro sitio. Pero que pronto verá por todas partes. En su bandeja de entrada a partir de 8 euros al mes.

La novela de Thélyson Orélien, C’était ça ou mourir, número 1 de las ventas en Francia, ganadora de numerosos premios y que estaba en liza por el Goncourt o el Renaudot, se encuentra en el centro de una gran polémica: ¿la ha escrito una IA? El lunes 21 de septiembre, una cuenta anónima en X, «Balance ton Claude», afirmaba que el libro había sido redactado por la IA. Desde entonces, aunque Orélien haya dicho que eran acusaciones falsas, la novela ha sido retirada de la lista del Premio Goncourt y la promoción ha sido suspendida.

Me llamo Pierre-Thomas Eckert, soy doctor en filosofía moral por la Universidad Europea de Roma e investigador en metaética en el Centre for Character and Human Growth de la Universidad Villanueva de Madrid. Junto con Samuel Fitoussi y otros internautas, soy uno de los miembros fundadores del colectivo «Balance ton Claude» (@Pangramed), que reveló que el libro de Thélyson Orélien era, muy probablemente, fruto de una inteligencia artificial. ¹ 

¿Por qué participar en «Balance ton Claude»? Aunque tengo un gran respeto por el trabajo de Fitoussi, creo que es importante que la lucha que llevamos a cabo contra la contaminación de la escritura por los contenidos generados por IA sea lo más amplia y transpartidista posible. De hecho, esa es la razón por la que inicialmente acordamos mantener el anonimato, para que el análisis de los hechos —y solo de los hechos— influyera en el juicio informado de nuestras lectoras y lectores. Ahora que el nombre de Fitoussi ha salido a la luz en la prensa, creo que es preferible que el mío también se haga público, para que el gran público comprenda mejor algunas de las otras motivaciones que impulsan a nuestro colectivo. 

Ni la obra C’était ça ou mourir ni el autor nos interesan en sí mismos: solo han llamado nuestra atención por ser síntomas especialmente llamativos de la tendencia a la proliferación de contenidos generados por IA, que resulta especialmente perjudicial para nuestra sociedad. 

El punto ciego del caso Thélyson Orélien

Comparto los análisis de Fitoussi publicados en estas páginas en lo que respecta al peligro existencial que los avances exponenciales de las capacidades de la IA generativa suponen para la producción literaria y la calidad de los intercambios en las redes sociales. Pero me parece que a lo largo de esta polémica se ha pasado por alto otro elemento igualmente importante: el peligro, igualmente existencial, que la IA supone para la calidad de la producción universitaria y académica. Como detalla muy bien Fitoussi, la perspectiva de un futuro en el que reine una sospecha generalizada sobre la autoría humana de los textos publicados en línea ya es de por sí poco alentadora, pero se vuelve especialmente angustiosa cuando se añade el mundo universitario a la ecuación. 

Creo que es importante expresar este temor de forma racional para que los «tecnoptimistas» más entusiastas no lo descarten de un plumazo, y por eso publico este artículo. En Europa, la práctica totalidad de nuestro sistema de atribución de autoridad epistémica se basa, implícita o explícitamente, en el sistema universitario. Si quieres defender una tesis sobre cualquier tema, es muy probable que recurras, al menos de forma implícita, a expresiones del tipo «Un estudio ha demostrado que X», «El profesor Y afirma que Z», «Los resultados del estudio A han sido confirmados por el metaanálisis B publicado en la revista con comité de lectura C», etc. Aunque es bastante plausible que no recurras directamente a estas fórmulas en tu vida cotidiana, lo cierto es que es muy improbable que lo que afirman los artículos de prensa o los programas de televisión a partir de los cuales te forjas tus opiniones no recurra a este tipo de información. 

La polémica que desatamos con «Balance ton Claude» ha servido, por otra parte, para ilustrar este procedimiento: utilizamos la herramienta de detección Pangram v.4 de forma tan sistemática porque estudios independientes habían confirmado su fiabilidad, y los comentaristas serios, como CheckNews de Libération o Stéphane Jourdain en France Inter, analizaron ante todo este elemento de nuestro argumento cuando se interesaron por nuestras afirmaciones. 

Esta pirámide de justificación solo es posible si se puede confiar en que los académicos escriben, piensan, llevan a cabo los procedimientos que describen y obtienen realmente los resultados que publican en las revistas científicas. 

Los fundamentos morales de la investigación 

Por lo tanto, existe una apuesta moral necesaria que sustenta nuestra confianza en los estudios y en la palabra académica: partimos de la premisa de que los autores que envían un manuscrito 1) han sopesado realmente el significado de las afirmaciones y los argumentos que presentan en él, 2) han realizado y verificado ellos mismos los cálculos y han leído las fuentes que citan en su justificación; y apostamos asimismo a que 3) los revisores que evalúan los manuscritos los leerán ellos mismos con esmero, sin pasar por alto ninguna afirmación injustificada. 

En la práctica, los evaluadores basan su trabajo en un acuerdo de confianza implícito con el investigador que ha enviado el manuscrito, ya que no disponen de tiempo para comprobar que cada palabra y cada referencia sean auténticas. La revisión por pares doble ciego (en la que se basa toda la producción académica) no se concibió, en efecto, como un mecanismo infalible para detectar el fraude, sino como un filtro de calidad basado en una presunción de buena fe.

El problema es que el uso de grandes modelos de lenguaje (LLM) lo suficientemente potentes socava cada uno de estos tres aspectos: 

• Las últimas versiones de Claude o ChatGPT ya son capaces de generar textos académicos que, al menos en apariencia, son de gran calidad, y que solo se pueden detectar tras una lectura atenta; e incluso esto podría dejar de ser suficiente ante sus futuras versiones; 
• Las alucinaciones evidentes que facilitan la detección del fraude en las referencias son cada vez más escasas; 
• Y la IA puede incluso facilitar en gran medida la falsificación de datos, o incluso generarlos de la nada y borrar cualquier rastro. La mayoría de los textos generados por la IA, cuando contienen afirmaciones falsas, lo hacen además de una forma lo suficientemente vaga y sutil como para que no salte a la vista de inmediato. 

Las sanciones, cuando se imponen, siguen siendo demasiado escasas y poco sistemáticas como para resultar disuasorias. Si no hacemos nada, nos encaminamos hacia una generalización del caso Sokal ² —que ya había minado la credibilidad de ciertos sectores de las ciencias humanas y sociales— a todo el mundo académico, incluidas las ciencias exactas y las humanidades más rigurosas, como la filosofía analítica. 

Los resultados no son suficientes

¿No se podría decir que, al fin y al cabo, lo único que cuenta es el resultado y que, siempre que el artículo sea bueno, las preocupaciones sobre el uso de la IA carecen de fundamento? En mi opinión, eso es no comprender la verdadera naturaleza del proceso de generación de conocimiento en el mundo académico. 

Una primera razón radica en que la revisión ciega por pares se basa en ciertos incentivos que se verán mermados por la generalización de la redacción con IA. Dado que implica que el revisor dedique parte de su tiempo a evaluar el trabajo de un colega, si sabe que dicho colega solo ha trabajado con su IA y no se ha tomado el tiempo de sopesar sus palabras sobre la marcha, ¿por qué se va a esforzar en intentar descifrar lo que haya generado la IA? ¿Por qué va a confiar en el autor en cuanto a la exactitud de los detalles? Sería mejor que debatiera el tema con su propia IA o que, sencillamente, ignorara el artículo. Por otra parte, no es de extrañar que la llegada de las IA generativas haya coincidido con un aumento exponencial de los artículos enviados, y que los revisores expresen su creciente descontento al respecto. 

Si, por el contrario, ya no hay forma alguna de saber si un artículo ha sido escrito por un humano o generado por un LLM, la señal de la investigación de calidad corre el riesgo de perderse entre el ruido de la avalancha de «slop IA», ³ lo que hace que el proceso de evaluación colectiva del conocimiento resulte imposible en la práctica. De hecho, la mayoría de las evaluaciones de textos se basan en parte en metaindices de fiabilidad (la supuesta experiencia del autor, el prestigio de la revista, la fiabilidad de la base de datos, etc.); si estos indicadores dejan de ser fiables, el proceso resultará imposible de llevar a cabo correctamente en el plazo establecido. Cada investigador se encontraría aislado, sin poder confiar más que en su memoria, su conciencia y en los investigadores a los que ya conoce personalmente. 

Además, esto penalizaría gravemente a los jóvenes investigadores honrados, a quienes les resultaría difícil obtener la validación por parte de sus pares a través de los canales tradicionales: ¿quién se lanzaría a cursar un doctorado si supiera que el fruto de tres años de duro trabajo corre el riesgo de ser considerado de la misma manera que un texto generado en unas pocas horas por un modelo de lenguaje grande (LLM) hábilmente dirigido? Por mucho que los investigadores estén animados, ante todo, por un noble afán por la verdad, no es realista pensar que las vocaciones seguirán floreciendo con un sistema de incentivos tan negativos. 

Formar mentes, elaborar enunciados 

Un enfoque de la investigación centrado exclusivamente en los resultados y que no tiene en cuenta el uso generativo de la IA también pasa por alto una dimensión importante de la práctica académica: el hecho de que, en determinados aspectos, el proceso es al menos tan importante como el resultado. 

El mundo académico no es una simple máquina de producir afirmaciones verdaderas: es, ante todo, una fuente de personas de excelencia, es decir, de mentes que han desarrollado cualidades excepcionales, ya sean epistémicas (rigor, precisión, concisión, autonomía reflexiva, economía argumentativa, etc.) o morales (paciencia, perseverancia, integridad, comunicación, etc.). 

Pero, evidentemente, estas virtudes no se desarrollan por sí solas: tal y como Aristóteles ya había señalado en la Ética a Nicómaco, requieren tanto un largo proceso de habituación como la supervisión de un maestro virtuoso que permita corregir los errores a lo largo del camino. 

El uso habitual de la IA para generar nuestros textos académicos —incluso los más sencillos, como los resúmenes de artículos o las notas para presentaciones— anula por completo los circuitos de recompensa que permiten adquirir de forma duradera estas habilidades: ¿cómo se puede aprender a cocinar correctamente si un chef de tres estrellas te prepara un plato abundante en cada comida? 

En teoría, cada persona es libre de ponerse a cocinar, pero contar con que la mayoría lo haga no es nada rrealista. 

El espejismo del descubrimiento acelerado

Un último punto en el que me parece que los tecnoptimistas se equivocan: la afirmación de que la aceleración de los avances de los LLM no puede sino conducir a una aceleración de los descubrimientos. En este argumento, el conocimiento se concibe como un yacimiento muy amplio de proposiciones verdaderas, y los LLM serían nuestras perforadoras más eficaces para acelerar su explotación: ¿por qué privarnos de ello? 

Esta visión ingenua pasa por alto que una de las etapas fundamentales del proceso de descubrimiento o creación de conocimiento reside en la verificación por parte de expertos competentes. Ahora bien, si un «fragmento de conocimiento» es «extraído» por un LLM sin que haya ningún ser humano lo suficientemente competente para evaluarlo, ¿cómo podríamos estar seguros de que realmente tiene ese estatus? ¿A través de «pares» de IA extremadamente potentes? 

El funcionamiento interno de los grandes modelos de lenguaje (LLM) es notoriamente opaco y su alineación con nuestros conceptos morales básicos ya suscita numerosas inquietudes. La pregunta es, pues: ¿es deseable que se produzca tal transferencia de nuestras autoridades epistémicas a la IA? 

Reorientar el debate

Que mi argumento quede bien claro: no estoy diciendo que la batalla esté irremediablemente perdida ni que deba prohibirse cualquier uso de la IA. Los grandes modelos de lenguaje (LLM) siguen siendo una herramienta muy valiosa a la hora de generar críticas a nuestros propios argumentos, explorar nuevas vías de investigación o abrir camino en un terreno conceptual. 

Pero ese uso es necesariamente activo y se asemeja mucho más a un «esfuerzo cognitivo» que a la «simplificación cognitiva» contra la que los miembros de «Balance ton Claude» han unido sus fuerzas. Según mi experiencia en filosofía analítica y por lo que oigo y leo de algunos colegas, no es este uso sensato y moderado el que se está extendiendo como la pólvora en nuestras instituciones. 

Algunos de ellos, incluidos profesores ya consolidados, no parecen darse cuenta del peligro que esto supone para la credibilidad de toda nuestra profesión. El paso de una simple lluvia de ideas asistida por IA a la redacción íntegra de «una idea que teníamos en mente pero que no conseguíamos formular bien» para un artículo o una presentación se ha vuelto mucho más habitual de lo que se cree, y eso es una muy mala noticia: creo que el bloqueo creativo y la página en blanco son etapas necesarias para afinar la comprensión, y la IA nos aporta a corto plazo algo de lo que, a largo plazo, no podremos sino arrepentirnos. 

Como bien señala el filósofo estadounidense Eric Schwitzgebel, existe una enorme diferencia cognitiva entre asentar la cabeza al leer algo y redactar un texto uno mismo: ⁴ en el primer caso, uno se ve tentado a conformarse pasivamente con un sinónimo aproximado, mientras que en el segundo se ve obligado a devanarse los sesos para expresar el matiz exacto. Incluso una reformulación elegante y más concisa por parte de un LLM corre el riesgo, en cada ocasión, de introducir un sutil cambio semántico respecto a lo que habríamos expresado si hubiéramos tomado papel y lápiz, y la calidad general del resultado no puede sino verse alterada, aunque no sea inmediatamente visible a simple vista. 

El riesgo de una delocalización masiva e irreversible de nuestras autoridades epistémicas y nuestras capacidades cognitivas (cognitive offloading) en beneficio de la IA es extremadamente real y, al igual que Fitoussi y nuestros otros compañeros de «Balance ton Claude», no le veo ningún aspecto positivo. 

Esperamos que este asunto haya servido para sacar a la luz la realidad, aunque no nos hacemos muchas ilusiones al respecto. No obstante, consideramos que era nuestro deber alertar a la opinión pública sobre estos acontecimientos y, en este sentido, la revelación de la identidad de algunos de los miembros del colectivo quizá sea un mal necesario. Así pues, concluyo este texto con la sensación de haber cumplido con mi deber.