Washington è contraria a una valutazione indipendente degli ultimi modelli di Anthropic e OpenAI

La Casa Bianca ha chiesto ad alcuni laboratori statunitensi di intelligenza artificiale, tra cui OpenAI e Anthropic, di riservare l’accesso ai propri nuovi modelli di punta ai test del governo statunitense prima di condividerli con altri organismi di valutazione indipendenti, come l’AI Security Institute (UK AISI), che è un punto di riferimento nel settore ¹.

• L’amministrazione statunitense metterebbe così in discussione l’accesso privilegiato prima della distribuzione di cui finora godeva questo istituto pubblico britannico.
• L’ordine di accesso ai nuovi modelli di frontiera sarebbe d’ora in poi il seguente: innanzitutto, una valutazione da parte del governo statunitense; poi, la messa in sicurezza dei sistemi statunitensi; e solo successivamente la condivisione del modello con i partner stranieri.

L’istituto UK AISI è uno dei principali enti pubblici al mondo specializzati nella valutazione pre e post-implementazione dei modelli di frontiera.

• Istituito nel novembre 2023 a seguito del vertice sulla sicurezza dell’IA tenutosi a Bletchley Park, valuta la maggior parte dei modelli all’avanguardia e ne documenta, in particolare, le capacità informatiche, biologiche e chimiche, l’autonomia degli agenti e i rischi legati all’auto-miglioramento ricorsivo dell’IA.
• Come altre organizzazioni di valutazione indipendenti (in particolare METR e Redwood Research), l’UK AISI poteva beneficiare di un accesso anticipato alle versioni di pre-lancio destinate al grande pubblico, al fine di effettuare test sui propri benchmark per documentare l’evoluzione delle capacità e dei rischi associati ai modelli di IA.

All’inizio di settembre, il Financial Times riportava che l’UK AISI non aveva avuto accesso a Mythos 5.1, nonostante in passato avesse sempre avuto accesso in anteprima ai principali modelli statunitensi ². In precedenza, OpenAI, Anthropic e Google DeepMind avevano tutte fornito all’Istituto l’accesso ad alcuni dei loro modelli più avanzati affinché fossero sottoposti a test.

Questa evoluzione si verifica in un momento in cui le capacità informatiche dei modelli di frontiera stanno diventando una questione di sicurezza nazionale.

• Già a giugno, l’amministrazione statunitense aveva imposto controlli sulle esportazioni di Fable e Mythos, i modelli di Anthropic, in particolare a causa del rapido miglioramento delle loro capacità nel campo della sicurezza informatica, vietandone così l’uso da parte di cittadini stranieri.
• La NSA sta ora testando modelli avanzati per individuare vulnerabilità che potrebbero compromettere i sistemi di intelligence e di difesa e sta sviluppando le proprie valutazioni. L’agenzia destinerebbe a questo scopo diversi miliardi di dollari all’anno, principalmente in risorse di calcolo ³.
• L’equivalente americano diretto dell’AISI britannico, il Center for AI Standards and Innovation (CAISI), dispone di risorse molto più limitate rispetto all’istituto britannico. Con sede presso il NIST, il CAISI è sottofinanziato e dispone di un organico di ricerca più ridotto.

I laboratori di intelligenza artificiale hanno inoltre proposto una valutazione diretta tra laboratori, senza supervisione governativa. In questo modo testerebbero reciprocamente i propri modelli prima della loro immissione sul mercato.

• Google, OpenAI e Anthropic stanno collaborando alla creazione di un organismo privato di normazione dedicato alla sicurezza dell’IA, che potrebbe definire standard comuni di valutazione prima dell’implementazione.
• La questione relativa alle capacità di valutazione indipendenti assume un’importanza sempre maggiore man mano che le capacità e le architetture dei modelli si evolvono.
• Redwood Research sottolinea in particolare che alcune architetture potrebbero ridurre notevolmente la capacità dei valutatori umani di monitorare e verificare il comportamento dei modelli, poiché questi ultimi non ragionano più attraverso una catena di pensiero testuale comprensibile, ma tramite stati latenti interni non direttamente osservabili ⁴.

Al di là dei test e dei rapporti di valutazione, questa asimmetria nell’accesso ai modelli all’avanguardia ha ripercussioni concrete sull’industria europea. Il progetto Glasswing, il programma di Anthropic che offre un accesso anticipato a Mythos, ha permesso già ad aprile alle banche e alle aziende strategiche statunitensi di rafforzare la propria difesa informatica, in particolare individuando con Mythos le vulnerabilità nei propri sistemi. Le banche europee hanno avuto accesso a questo strumento solo diversi mesi dopo.