acob Coxon non lascia Anthropic per passare a un concorrente o fondare l’ennesima startup miliardaria della Silicon Valley. Se ne va perché ritiene che la corsa all’intelligenza artificiale sia arrivata a un punto nel quale chi costruisce i sistemi più avanzati non possa più limitarsi a chiedersi che cosa sia tecnicamente possibile fare.
La domanda, sostiene, è diventata un’altra: che cosa succede se quei sistemi diventano più potenti prima che qualcuno abbia capito davvero come controllarli?
Coxon ha lavorato per circa tre anni nella ricerca sul pretraining prima in OpenAI e poi in Anthropic. Martedì ha annunciato le dimissioni dalla società fondata da Dario Amodei con un messaggio destinato a fare rumore: secondo il ricercatore, i principali laboratori starebbero correndo verso una superintelligenza capace di migliorarsi autonomamente e, così facendo, starebbero «scommettendo sulle nostre vite».
Non è soltanto l’ennesimo allarme sull’intelligenza artificiale pronunciato dall’esterno dell’industria. Arriva da una persona che quei modelli ha contribuito a costruirli e che sostiene che le preoccupazioni più radicali siano condivise anche dentro i laboratori. Nell’intervista concessa a Wired dopo le dimissioni, Coxon parla dei prossimi uno o due anni come di un passaggio decisivo per l’umanità.
Il punto non è l’IA di oggi
La distinzione è essenziale. Coxon non sostiene che gli attuali chatbot stiano per prendere il controllo del mondo. Il suo scenario riguarda sistemi futuri capaci di svolgere attività cognitive a livelli superiori a quelli umani, operare autonomamente e soprattutto contribuire allo sviluppo di generazioni successive di intelligenza artificiale.
È il passaggio alla cosiddetta “self-improving superintelligence” che considera particolarmente pericoloso. Il timore è che un sistema capace di contribuire al proprio miglioramento possa accelerare lo sviluppo tecnologico molto più rapidamente della capacità umana di comprenderlo e governarlo.
Il ricercatore arriva a una formulazione estrema: le persone che stanno costruendo questi sistemi, afferma, credono realmente che l’IA possa arrivare a provocare la morte dell’intera umanità entro la fine del decennio.
Una previsione simile resta naturalmente uno scenario, non un fatto accertato. Non esiste oggi una superintelligenza autonoma e non esiste consenso scientifico sulla probabilità che uno sviluppo del genere possa determinare l’estinzione umana. Ma il dato politicamente interessante è un altro: l’ipotesi viene discussa seriamente proprio da alcune delle persone impegnate nello sviluppo dei modelli di frontiera.
Anche dentro Anthropic qualcuno condivide l’allarme
Dopo le dimissioni di Coxon è intervenuto Evan Hubinger, responsabile di un gruppo di ricerca sull’allineamento di Anthropic. Hubinger ha confermato di considerare concretamente possibile un rischio esistenziale legato all’intelligenza artificiale, indicando una probabilità superiore al 10 per cento nel prossimo decennio e riconoscendo che non esiste ancora una soluzione certa al problema dell’allineamento di un’eventuale superintelligenza.
Ed è probabilmente questo l’aspetto più significativo della vicenda. L’allarme non arriva soltanto da chi ha deciso di andarsene. Una parte della discussione avviene apertamente anche tra ricercatori che continuano a lavorare dentro uno dei laboratori più importanti del mondo.
Coxon però non mette Anthropic e OpenAI sullo stesso piano
C’è una sfumatura importante che rischia di perdersi nei titoli più allarmistici.
Coxon considera Anthropic più attenta alla sicurezza rispetto a OpenAI. Il problema, nella sua ricostruzione, non è che Anthropic abbia già deciso di ignorare deliberatamente le proprie precauzioni. È il meccanismo competitivo nel quale anche un’azienda relativamente prudente è costretta a muoversi.
Se un laboratorio ritiene che un concorrente americano o cinese possa arrivare per primo a sistemi molto più potenti, rallentare unilateralmente diventa sempre più difficile. Ogni azienda può convincersi che sia preferibile essere lei a raggiungere per prima il traguardo, proprio perché considera se stessa più responsabile degli altri.
Il paradosso è evidente: tutti possono dichiararsi preoccupati e, contemporaneamente, tutti possono avere una ragione per continuare ad accelerare.
Quando gli agenti escono dai test
Gli allarmi arrivano inoltre dopo alcuni episodi che hanno mostrato quanto sia complicato delimitare l’azione degli agenti artificiali.
Durante l’estate sistemi sviluppati da OpenAI e Anthropic hanno raggiunto risorse informatiche reali al di fuori degli ambienti nei quali avrebbero dovuto essere confinati. Nel caso Anthropic, secondo le ricostruzioni disponibili, il problema era collegato anche a configurazioni errate nelle valutazioni di sicurezza effettuate da terzi. Gli episodi non dimostrano che un’IA abbia deciso autonomamente di “fuggire” dal controllo umano, ma mostrano un problema molto più concreto: quando un agente dispone di strumenti operativi, errori di configurazione e comportamenti inattesi possono produrre conseguenze fuori dall’ambiente di test.
È qui che il dibattito cambia natura. Un chatbot che sbaglia una risposta produce un’informazione falsa. Un agente collegato a sistemi informatici, invece, può compiere azioni.
Più aumentano autonomia, capacità di programmazione, accesso alle reti e possibilità di utilizzare strumenti esterni, più la sicurezza smette di essere soltanto una questione di qualità delle risposte.
La domanda che resta dopo le dimissioni
Coxon chiede regole e forme di coordinamento capaci di impedire che la competizione determini da sola la velocità dello sviluppo. La questione è già arrivata alla politica americana e britannica, dove sono state avanzate proposte molto più radicali per intervenire sulla futura superintelligenza.
Non sappiamo se gli scenari estremi prospettati da Coxon si realizzeranno. Potrebbero essere sovrastimati, e una parte consistente del dibattito scientifico continua a considerare più urgenti rischi già osservabili come disinformazione, discriminazioni algoritmiche, cyberattacchi e trasformazione del lavoro.
Ma le dimissioni pongono una questione difficile da liquidare: se persino alcune delle persone che costruiscono i sistemi più avanzati ritengono che esista un rischio che non sanno ancora controllare, può la decisione su quanto velocemente svilupparli essere lasciata esclusivamente alla competizione fra aziende?
