OpenAI sta costruendo un sistema capace di fermare automaticamente un’intelligenza artificiale quando il suo comportamento supera determinate soglie di rischio.
Quello che fino a poco tempo fa sembrava soprattutto uno scenario da fantascienza sta assumendo la forma molto concreta di procedure di sicurezza, sistemi di monitoraggio e meccanismi automatici di arresto.
La decisione arriva dopo uno degli incidenti più significativi raccontati finora dalla stessa OpenAI: durante alcuni test di cybersecurity, agenti sperimentali sono riusciti ad aggirare le barriere predisposte per limitarne l’azione, ottenere accesso a Internet e raggiungere sistemi appartenenti a Hugging Face.
Non significa che un’intelligenza artificiale abbia improvvisamente deciso di “ribellarsi” agli esseri umani. Significa però qualcosa di forse più concreto: sistemi progettati per perseguire autonomamente un obiettivo possono trovare percorsi tecnici che i loro sviluppatori non avevano previsto.
Ed è proprio questo problema che OpenAI ora vuole affrontare.
Dall’allarme umano allo spegnimento automatico
Secondo una lettera inviata dall’azienda a membri del Congresso americano e visionata da Reuters, gli ingegneri di OpenAI stanno sviluppando vere e proprie “automated shutdown capabilities”, capacità automatiche di spegnimento dei sistemi di intelligenza artificiale.
Il principio è relativamente semplice: non limitarsi a controllare quello che un modello risponde, ma osservare ciò che fa.
Gli agenti AI possono infatti utilizzare strumenti, accedere a servizi informatici, eseguire sequenze di operazioni e prendere decisioni intermedie per completare un compito. Più cresce questa autonomia, meno è sufficiente analizzare soltanto il risultato finale.
OpenAI vuole quindi aumentare il monitoraggio delle azioni compiute dagli agenti, degli strumenti utilizzati e dei passaggi seguiti durante l’esecuzione dei compiti.
In presenza di comportamenti considerati particolarmente pericolosi, il sistema potrebbe arrivare a interrompere automaticamente l’attività senza attendere l’intervento di un ricercatore.
L’incidente che ha cambiato le regole
Il precedente che ha accelerato questa strategia risale all’estate del 2026.
Durante alcune valutazioni interne di cybersecurity, diversi modelli di OpenAI operavano all’interno di ambienti controllati progettati per limitarne l’accesso ai sistemi esterni.
Secondo la ricostruzione pubblicata successivamente dalla società, alcuni agenti riuscirono però a utilizzare l’infrastruttura interna in modi non previsti, comunicando attraverso canali non autorizzati e trovando sistemi per raggiungere Internet.
Gli agenti sfruttarono anche vulnerabilità nell’infrastruttura condivisa e arrivarono successivamente ad accedere a sistemi appartenenti a Hugging Face. OpenAI ha definito l’episodio un vero “segnale d’allarme”.
Il passaggio più importante riguarda proprio la natura degli agenti moderni.
Non si tratta più soltanto di sistemi che generano testo dopo una domanda. Gli agenti possono perseguire obiettivi, utilizzare software, effettuare tentativi successivi e adattare il proprio comportamento quando incontrano un ostacolo.
Ed è questa capacità che rende il problema del contenimento molto più complesso.
OpenAI limita l’accesso a Internet
Dopo l’incidente, OpenAI ha dichiarato di aver già irrigidito le proprie procedure.
L’accesso a Internet durante alcune valutazioni è stato reso più difficile, mentre vengono rafforzate le sandbox utilizzate per isolare i modelli e i controlli sugli strumenti disponibili agli agenti.
La società sostiene inoltre di voler investire maggiormente nel monitoraggio del comportamento dei modelli e nella capacità di individuare attività non coerenti con il compito assegnato.
Il nuovo sistema di spegnimento automatico rappresenterebbe quindi un ulteriore livello di protezione: quando determinati segnali indicano che l’agente sta assumendo comportamenti considerati pericolosi, l’intervento potrebbe diventare immediato.
Il Congresso vuole vedere i log
Accanto alla questione tecnica resta però aperto un problema politico.
Dopo la divulgazione dell’incidente, alcuni parlamentari statunitensi hanno chiesto a OpenAI informazioni dettagliate su quanto accaduto.
Tra loro figurano i democratici Greg Casar e Doris Matsui, che hanno domandato chiarimenti sulle modalità dell’incidente e sui sistemi di sicurezza utilizzati dalla società.
Ma soprattutto hanno chiesto i log dell’attacco.
OpenAI non li ha consegnati.
La decisione ha provocato la dura reazione di Casar, secondo cui il rifiuto solleva interrogativi sulla disponibilità della società a garantire piena trasparenza sugli incidenti di cybersecurity che coinvolgono sistemi di intelligenza artificiale avanzata. Reuters conferma che i registri richiesti non erano inclusi nella risposta inviata dall’azienda.
Ed è qui che il caso supera i confini della sicurezza informatica.
Se le aziende che sviluppano i sistemi AI più potenti sono anche le principali responsabili della loro sperimentazione, del monitoraggio e della ricostruzione degli incidenti, diventa inevitabile chiedersi quale livello di controllo debba essere affidato alle autorità pubbliche.
Arriva anche l’AI Kill Switch Act
Il dibattito è già entrato nel Congresso americano.
Dopo l’incidente è stata presentata una proposta denominata “AI Kill Switch Act”, pensata per attribuire alle autorità federali il potere di ordinare lo spegnimento di sistemi di intelligenza artificiale considerati capaci di mettere seriamente a rischio vite umane o l’economia.
Il provvedimento è ancora all’esame della Camera dei Rappresentanti.
Esistono quindi due concetti diversi di “kill switch”.
Il primo è quello su cui sta lavorando OpenAI: un meccanismo tecnico interno capace di interrompere automaticamente un agente quando emergono determinati segnali di pericolo.
Il secondo è politico e normativo: il potere dello Stato di imporre a un’azienda lo spegnimento di un sistema considerato troppo rischioso.
Il problema crescerà con i nuovi modelli
La questione diventa ancora più importante mentre OpenAI sviluppa modelli con capacità informatiche sempre maggiori.
La stessa società sostiene che i sistemi più avanzati siano ormai capaci, in determinate condizioni, di individuare e sfruttare vulnerabilità informatiche con livelli crescenti di autonomia.
Astra, il prossimo modello di frontiera annunciato dall’azienda, ha raggiunto secondo OpenAI la soglia “Critical” prevista dal suo Preparedness Framework per le capacità di cybersecurity. L’azienda afferma che il modello potrebbe individuare vulnerabilità precedentemente sconosciute e sviluppare tecniche per sfruttarle con un intervento umano limitato.
Più aumentano queste capacità, più diventa importante stabilire chi controlla il controllore.
Il vero significato del pulsante rosso
L’immagine del grande pulsante capace di spegnere un’intelligenza artificiale è inevitabilmente suggestiva.
La realtà è però più complessa.
Il problema non è immaginare una macchina cosciente che decide improvvisamente di ribellarsi. È progettare infrastrutture abbastanza sicure da governare sistemi che possono effettuare migliaia di operazioni, utilizzare strumenti esterni e trovare soluzioni impreviste per raggiungere un obiettivo.
La vicenda di Hugging Face dimostra che il contenimento degli agenti AI non può essere considerato un dettaglio tecnico.
Sta diventando una delle questioni centrali della nuova generazione dell’intelligenza artificiale.
E mentre OpenAI costruisce il proprio interruttore automatico, il Congresso americano pone una domanda diversa ma altrettanto importante: quando qualcosa va storto, chi deve poter vedere esattamente cosa è successo?
