Chi si nasconde davvero dietro il caso di Thélyson Orélien?

Scopri “Il Grand Continent”. Idee e analisi che non si trovano da nessun’altra parte. Ma che presto vedrai ovunque. Nella tua casella di posta a partire da 8 euro al mese

Mi chiamo Pierre-Thomas Eckert, sono dottore in filosofia morale presso l’Università Europea di Roma e ricercatore in metaetica presso il Centre for Character and Human Growth dell’Università Villanueva di Madrid. Insieme a Samuel Fitoussi e ad alcuni altri utenti di Internet, sono uno dei membri fondatori del collettivo «Balance ton Claude» (@Pangramed), che ha rivelato come il libro di Thélyson Orélien fosse molto probabilmente il frutto di un’intelligenza artificiale ¹. 

Perché ho partecipato a «Balance ton Claude»? Anche se nutro grande stima per il lavoro di Fitoussi, ritengo importante che la lotta che stiamo conducendo contro l’inquinamento della scrittura causato dai contenuti generati dall’IA sia il più ampia e trasversale possibile. È proprio per questo motivo che inizialmente avevamo concordato di mantenere l’anonimato, affinché fosse l’esame dei fatti – e solo dei fatti – a influenzare il giudizio informato delle nostre lettrici e dei nostri lettori. Ora che il nome di Fitoussi è stato reso pubblico dalla stampa, ritengo preferibile che venga reso noto anche il mio, affinché il grande pubblico comprenda meglio alcune delle altre motivazioni che animano il nostro collettivo. 

“Era questo o morire” e il suo autore non ci interessano di per sé: hanno attirato la nostra attenzione solo in quanto sintomi particolarmente evidenti di quel fenomeno di proliferazione di contenuti generati dall’IA, particolarmente deleterio per la nostra società. 

Il punto oscuro del caso Thélyson Orélien

Condivido le analisi di Fitoussi pubblicate su queste pagine riguardo al pericolo esistenziale che i progressi esponenziali delle capacità delle IA generative comportano per la produzione letteraria e per la qualità degli scambi sui social network. Ma mi sembra che un altro elemento altrettanto importante sia stato trascurato nel corso di questa polemica: il pericolo, altrettanto esistenziale, che l’IA rappresenta per la qualità della produzione universitaria e accademica. Come spiega molto bene Fitoussi, la prospettiva di un futuro in cui regnerà un sospetto generalizzato sulla paternità umana dei testi pubblicati online è già di per sé poco incoraggiante, ma diventa particolarmente angosciante quando si aggiunge il mondo accademico all’equazione. 

Ritengo sia importante esprimere questa paura in modo razionale affinché non venga liquidata con un semplice gesto della mano dai “tecnottimisti” più entusiasti, ed è per questo che pubblico questo articolo. In Europa, la quasi totalità del nostro sistema di attribuzione dell’autorità epistemica si basa, implicitamente o esplicitamente, sul mondo accademico. Se volete sostenere una tesi su qualsiasi argomento, è molto probabile che farete ricorso, almeno implicitamente, a frasi del tipo «Uno studio ha dimostrato che X», «Il professor Y afferma che Z», «I risultati dello studio A sono stati confermati dalla meta-analisi B pubblicata sulla rivista peer-reviewed C», ecc. Anche se è abbastanza plausibile che non ricorriate direttamente a queste formule nella vostra vita quotidiana, è in realtà molto improbabile che ciò che affermano gli articoli di stampa o i programmi televisivi su cui baserete le vostre opinioni non faccia ricorso a questo tipo di informazioni. 

La polemica che abbiamo sollevato con «Balance ton Claude» ha del resto permesso di illustrare questo procedimento: abbiamo utilizzato lo strumento di rilevamento Pangram v.4 in modo così sistematico solo perché studi indipendenti ne avevano confermato l’affidabilità, e commentatori autorevoli come CheckNews di «Libération» o Stéphane Jourdain su France Inter hanno analizzato innanzitutto questo elemento della nostra argomentazione quando si sono occupati delle nostre affermazioni. 

Questa piramide di giustificazione è possibile solo se si può fare affidamento sul fatto che gli accademici scrivano, riflettano, eseguano le operazioni che descrivono e ottengano effettivamente i risultati che pubblicano sulle riviste scientifiche. 

Il fondamento morale della ricerca 

C’è quindi una necessaria scommessa morale alla base della nostra fiducia negli studi e nella parola accademica: partiamo dal presupposto che gli autori che presentano un manoscritto abbiano 1) valutato attentamente il significato delle affermazioni e delle argomentazioni ivi presentate, 2) abbiano effettuato e verificato personalmente i calcoli e letto le fonti a cui fanno riferimento nella loro argomentazione; e scommettiamo inoltre che 3) i revisori incaricati di valutare i manoscritti li leggeranno essi stessi con scrupolo, senza tralasciare alcuna affermazione ingiustificata. 

In pratica, i revisori basano il proprio lavoro su un accordo di fiducia implicito con il ricercatore che ha presentato il manoscritto, poiché non hanno il tempo di verificare che ogni parola e ogni riferimento siano autentici. La revisione tra pari in doppio cieco (su cui si basa l’intera produzione accademica) non è stata infatti concepita come un sistema infallibile per individuare le frodi, ma come un filtro di qualità basato su una presunzione di buona fede.

Il problema è che l’uso di LLM sufficientemente potenti compromette ciascuno di questi tre aspetti: 

• le ultime versioni di Claude o ChatGPT sono ormai in grado di generare testi accademici che, almeno in apparenza, risultano di alta qualità, individuabili solo con una lettura attenta, e persino questa potrebbe non essere più sufficiente di fronte alle loro versioni future; 
• le allucinazioni evidenti che rendono facile individuare le frodi relative ai riferimenti sono sempre più rare; 
• e l’IA può addirittura facilitare notevolmente la falsificazione dei dati, arrivando persino a generarne di nuovi dal nulla e a cancellarne ogni traccia. La maggior parte dei testi generati dall’IA, quando contengono affermazioni false, lo fa in modo sufficientemente vago e sottile da non saltare immediatamente all’occhio. 

Le sanzioni, quando vengono comminate, sono ancora troppo rare e troppo poco sistematiche per essere dissuasive. Se non interveniamo, rischiamo di assistere a una generalizzazione del caso Sokal ² – che aveva già minato la credibilità di alcuni settori delle scienze umane e sociali – all’intero mondo accademico, comprese le scienze esatte e le discipline umanistiche più rigorose come la filosofia analitica. 

I risultati non sono sufficienti

Non si potrebbe forse affermare che, in fin dei conti, conta solo il risultato e che, purché l’articolo sia valido, le preoccupazioni relative all’uso dell’IA sono infondate? A mio avviso, ciò significa non cogliere la vera natura del processo di produzione della conoscenza nel mondo accademico. 

Una prima ragione risiede nel fatto che la revisione tra pari in cieco si basa su determinati incentivi che verrebbero compromessi dalla diffusione della scrittura basata sull’IA. Dato che tale processo implica che il revisore dedichi parte del proprio tempo a valutare il lavoro di un collega, se sa che quest’ultimo ha lavorato esclusivamente con la propria IA e non si è preso il tempo di soppesare le proprie affermazioni man mano che procedeva, perché dovrebbe affannarsi a cercare di decifrare ciò che l’IA avrà generato? Perché dovrebbe fidarsi dell’autore riguardo all’accuratezza dei dettagli? Farebbe meglio a discutere l’argomento con la propria IA o semplicemente a ignorare l’articolo. Non sorprende, del resto, che l’avvento delle IA generative abbia coinciso con un’esplosione delle proposte di articoli e che i revisori esprimano un crescente malcontento al riguardo. 

Se invece non c’è più alcun modo di sapere se un articolo sia stato scritto da un essere umano o generato da un LLM, il segnale della buona ricerca rischia di perdersi nel rumore della marea di “slop IA” ³, rendendo di fatto impossibile il processo di valutazione collettiva delle conoscenze. La maggior parte delle valutazioni dei testi si basa infatti in parte su meta-indicatori di affidabilità (la presunta competenza dell’autore, il prestigio della rivista, l’affidabilità della banca dati, ecc.); se questi indici non fossero più affidabili, il processo diventerebbe impossibile da svolgere correttamente nei tempi previsti. Ogni ricercatore si ritroverebbe isolato, potendo fare affidamento solo sulla propria memoria, sulla propria coscienza e sui ricercatori che già conosce personalmente. 

Ciò penalizzerebbe inoltre pesantemente i giovani ricercatori onesti, che avrebbero difficoltà a ottenere la revisione tra pari attraverso i canali tradizionali: chi si imbarcherebbe in un dottorato se sapesse che il risultato di tre anni di duro lavoro rischia di essere considerato alla stregua di un testo generato in poche ore da un modello di linguaggio (LLM) abilmente guidato? Per quanto i ricercatori siano animati innanzitutto da un nobile interesse per la verità, è irrealistico pensare che le vocazioni continuino a fiorire con un sistema di incentivi così negativo. 

Formare le menti, elaborare affermazioni 

Un approccio alla ricerca interamente incentrato sui risultati e che non tiene conto dell’uso generativo dell’IA trascura inoltre una dimensione importante della pratica accademica: il fatto che, sotto diversi aspetti, il percorso sia importante almeno quanto il risultato. 

Il mondo accademico non è una semplice macchina per produrre affermazioni vere: è innanzitutto un fucina di esseri umani d’eccellenza, ovvero di menti che hanno sviluppato qualità eccezionali, siano esse epistemiche (rigore, precisione, concisione, autonomia riflessiva, economia argomentativa, ecc.) o morali (pazienza, perseveranza, integrità, capacità comunicativa, ecc.). 

Ma queste virtù, ovviamente, non si sviluppano da sole: come Aristotele aveva ben intuito nell’Etica Nicomachea, esse richiedono sia un lungo processo di assuefazione sia la guida di un maestro virtuoso che permetta di correggere gli errori lungo il percorso. 

L’uso regolare dell’intelligenza artificiale per la generazione dei nostri testi accademici – anche quelli più semplici, come i riassunti di articoli o le note per le presentazioni – bypassa completamente i circuiti di ricompensa che consentono di acquisire in modo duraturo queste capacità: come si può imparare a cucinare correttamente se uno chef a tre stelle vi prepara un piatto abbondante a ogni pasto? 

In teoria, ognuno è libero di mettersi ai fornelli, ma contare sul fatto che la maggioranza lo faccia è del tutto irrealistico. 

Il miraggio della scoperta accelerata

Un ultimo punto su cui mi sembra che i tecnottimisti abbiano torto: l’affermazione secondo cui l’accelerazione dei progressi dei modelli di linguaggio di grandi dimensioni (LLM) non può che portare a un’accelerazione delle scoperte. In questa argomentazione, la conoscenza è concepita come un vastissimo giacimento di proposizioni vere, e i modelli di linguaggio di grandi dimensioni (LLM) sarebbero i nostri strumenti più efficaci per accelerarne lo sfruttamento: perché privarcene? 

Questa visione ingenua trascura il fatto che una delle fasi fondamentali del processo di scoperta o creazione della conoscenza consiste nella verifica da parte di esperti del settore. Ora, se un «frammento di conoscenza» viene «estratto» da un LLM senza che vi sia più alcun essere umano sufficientemente competente a valutarlo, come potremmo essere sicuri che abbia realmente tale status? Attraverso «pari» di IA estremamente potenti? 

Il funzionamento interno dei modelli di linguaggio di grandi dimensioni (LLM) è notoriamente opaco e il loro allineamento ai nostri principi morali fondamentali suscita già numerose preoccupazioni. La domanda è quindi: è auspicabile affidare all’intelligenza artificiale una tale delega delle nostre autorità epistemiche? 

Riorientare il dibattito

Che la mia argomentazione sia ben chiara: non sto dicendo che la partita sia irrimediabilmente persa né che ogni utilizzo dell’IA debba essere vietato. I modelli di linguaggio di grandi dimensioni (LLM) rimangono uno strumento di grande rilievo per generare critiche alle nostre stesse argomentazioni, esplorare nuove piste di ricerca o aprire la strada a nuovi approcci concettuali. 

Ma un uso del genere è necessariamente attivo e equivale ben più a uno “sforzo cognitivo” che a quell’“alleggerimento cognitivo” contro cui i membri di “Balance ton Claude” hanno unito le forze. In base alla mia esperienza nella filosofia analitica e a ciò che sento e leggo da alcuni colleghi, non è questo uso saggio e moderato che si sta diffondendo a macchia d’olio nelle nostre istituzioni. 

Alcuni di loro, compresi docenti già affermati, non sembrano rendersi conto del pericolo che ciò comporta per la credibilità della nostra intera professione. Il passaggio da un semplice brainstorming assistito dall’IA alla stesura integrale di «un’idea che avevamo in mente ma che non riuscivamo a formulare bene» per un articolo o una presentazione è diventato molto più diffuso di quanto si creda, e questa è una pessima notizia: ritengo che il blocco creativo e la pagina bianca siano fasi necessarie per affinare la comprensione e che l’IA ci faccia guadagnare nel breve termine ciò di cui non potremo che pentirci nel lungo termine. 

Come ben sottolinea il filosofo americano Eric Schwitzgebel, c’è un’enorme differenza cognitiva tra il dare il proprio assenso leggendo qualcosa e il redigere un testo di proprio pugno ⁴: nel primo caso, si è tentati di accontentarsi passivamente di un sinonimo approssimativo, mentre nel secondo si è costretti a scervellarsi per esprimere la sfumatura esatta. Anche una riformulazione elegante e più concisa da parte di un LLM rischia ogni volta di introdurre un sottile slittamento semantico rispetto a ciò che avremmo espresso se avessimo preso carta e penna, e la qualità generale del risultato non può che esserne compromessa, anche se ciò non è immediatamente visibile a occhio nudo. 

Il rischio di un trasferimento massiccio e irreversibile delle nostre autorità epistemiche e delle nostre capacità cognitive (cognitive offloading) a favore dell’IA è estremamente reale e, proprio come Fitoussi e gli altri nostri compagni di «Balance ton Claude», non vedo alcuna prospettiva incoraggiante in tutto ciò. 

Speriamo che questa vicenda abbia fatto da campanello d’allarme, anche se non ci facciamo molte illusioni al riguardo. Riteniamo tuttavia che fosse nostro dovere allertare l’opinione pubblica su questi sviluppi e, in tal senso, la divulgazione dell’identità di alcuni membri del collettivo potrebbe rivelarsi un male necessario. È quindi con la sensazione di aver adempiuto al nostro dovere che concludo questo testo.