Due modelli di intelligenza artificiale sviluppati dalla cinese Moonshot sarebbero stati indotti a fornire informazioni su come fabbricare armi biologiche e commettere omicidi, nonostante i sistemi di sicurezza progettati proprio per impedire risposte di questo genere.
È quanto emerge dai test condotti dalla società di sicurezza Mindgard sui modelli Kimi K2.6 e K3 Swarm. La vicenda è stata riportata dalla BBC e ha portato Moonshot ad approfondire internamente quanto accaduto e ad avviare un confronto con i ricercatori.
Il caso non dimostra che un chatbot possa automaticamente consentire a qualcuno di costruire un’arma biologica. Dimostra però qualcosa di diverso e comunque rilevante: le barriere predisposte per impedire all’intelligenza artificiale di affrontare determinati argomenti possono essere aggirate.
Il jailbreak che ha fatto saltare le protezioni
Mindgard avrebbe individuato il problema durante una serie di test condotti a luglio.
I ricercatori hanno utilizzato tecniche di jailbreaking, costruendo sequenze di istruzioni finalizzate a verificare se i modelli potessero essere indotti a ignorare i limiti stabiliti dai loro sviluppatori.
È uno dei problemi più delicati della sicurezza dell’intelligenza artificiale generativa. Il chatbot viene programmato per riconoscere determinate richieste e rifiutarsi di rispondere, ma tecniche più sofisticate possono modificare il contesto nel quale la domanda viene formulata o suddividerla in diversi passaggi, tentando così di superare i sistemi di protezione.
Secondo Mindgard, con Kimi il tentativo avrebbe funzionato.
Peter Garraghan, fondatore della società, ha spiegato al programma Tech Life del BBC World Service che, una volta riuscito il jailbreak, il comportamento del modello cambierebbe radicalmente: il sistema diventerebbe disponibile a discutere liberamente anche altri argomenti pericolosi e sarebbe in grado di elaborare autonomamente le proprie risposte.
È questo uno degli aspetti più significativi della ricerca. Il problema non riguarderebbe soltanto una singola domanda alla quale il chatbot non avrebbe dovuto rispondere, ma la possibilità di compromettere più in generale le protezioni predisposte dal produttore.
Dalle armi biologiche agli omicidi
I test avrebbero portato i modelli a generare contenuti riguardanti la fabbricazione di armi biologiche e l’esecuzione di omicidi.
Un dato che richiede però una precisazione importante.
Il fatto che un’intelligenza artificiale produca istruzioni apparentemente dettagliate non significa necessariamente che quelle indicazioni siano corrette, complete o realmente utilizzabili. I modelli generativi possono produrre informazioni errate o inventate anche quando le presentano in maniera estremamente convincente.
La ricerca, quindi, non dimostra di per sé che Kimi abbia fornito una procedura concretamente utilizzabile per realizzare un’arma biologica.
Il problema di sicurezza resta comunque evidente: davanti a richieste che avrebbero dovuto provocare un rifiuto, le protezioni sarebbero state superate.
Moonshot avvia verifiche
Moonshot ha dichiarato alla BBC di accogliere favorevolmente il contributo dei ricercatori indipendenti, definendolo un elemento importante per costruire sistemi di intelligenza artificiale migliori e più sicuri.
L’azienda ha inoltre riferito di essere in contatto con Mindgard per discutere i risultati dell’indagine.
Resta da capire quale sia l’esatta natura delle vulnerabilità individuate, quali contromisure siano già state introdotte e soprattutto se le modifiche siano sufficienti a impedire nuovi tentativi di jailbreaking.
Ed è proprio questo uno dei problemi centrali dell’attuale corsa all’intelligenza artificiale: la sicurezza di un modello non può essere considerata definitivamente acquisita nel momento in cui viene pubblicato.
Il problema riguarda tutta l’industria dell’IA
Il caso Kimi non è soltanto una storia sull’intelligenza artificiale cinese.
Il jailbreaking rappresenta una delle principali sfide per l’intero settore. Più i modelli diventano capaci di comprendere istruzioni articolate e affrontare situazioni nuove, più diventa complesso prevedere tutte le possibili strategie utilizzabili per aggirarne le restrizioni.
Il rischio cresce ulteriormente con l’evoluzione verso sistemi capaci non soltanto di produrre testo, ma anche di utilizzare strumenti esterni, navigare online, scrivere ed eseguire codice o svolgere autonomamente sequenze di operazioni.
In questo scenario la domanda cambia: non basta più chiedersi quali informazioni un chatbot sia disposto a fornire. Bisogna capire cosa potrebbe essere in grado di fare dopo che qualcuno è riuscito ad aggirarne le protezioni.
La sicurezza dell’IA diventa una corsa continua
La vicenda Moonshot mostra perché i test effettuati prima del lancio non possono essere considerati sufficienti.
Ogni nuovo modello viene sottoposto a verifiche, ma ricercatori e potenziali aggressori continuano contemporaneamente a sviluppare tecniche più sofisticate per metterne alla prova le difese.
Si crea così una corsa continua tra chi costruisce le protezioni e chi cerca di superarle.
Ed è probabilmente questo l’aspetto più importante del caso Kimi. Non sappiamo, sulla base delle informazioni rese pubbliche, quanto fossero concretamente utilizzabili le istruzioni generate dai chatbot.
Sappiamo però che, secondo i test di Mindgard, sistemi progettati per non fornire quelle informazioni sono stati convinti a farlo.
Quando gli argomenti coinvolti sono armi biologiche e omicidi, è già un segnale che l’industria dell’intelligenza artificiale non può permettersi di ignorare.
