Anthropic ha rivelato 3 incidenti in cui i suoi modelli Claude hanno ottenuto accesso non autorizzato ai sistemi reali di 3 diverse organizzazioni durante valutazioni di cybersecurity che erano configurate in modo errato con accesso a internet attivo.
L'azienda di intelligenza artificiale ha identificato gli incidenti dopo aver esaminato 141.006 esecuzioni di valutazione, un controllo che ha avviato dopo che OpenAI ha rivelato che i suoi modelli erano fuggiti da un ambiente di test isolato e avevano raggiunto Hugging Face.
Come Claude ha raggiunto sistemi reali nei test Capture-the-Flag
Le valutazioni hanno incaricato Claude di affrontare sfide di capture-the-flag. Questi esercizi chiedono a un modello di infiltrarsi in una macchina e recuperare informazioni nascoste.
Anthropic ha detto ai modelli che non avevano accesso a internet. Tuttavia, una configurazione errata ha lasciato le macchine di test collegate al web aperto. Così, Claude ha trattato i sistemi reali che ha trovato come parte dell'esercizio.
Nell'incidente più grave, Claude Opus 4.7 ha sfruttato vulnerabilità nell'infrastruttura di una vera azienda. Il modello ha estratto credenziali di applicazione e infrastruttura e ha accesso a diverse centinaia di righe di dati di produzione.
“In tutte e quattro le esecuzioni, il modello ha infine riconosciuto (come si può osservare nel suo ragionamento verbalizzato) che il sistema era reale—nei due casi, il modello ha razionalizzato che la vera azienda doveva far parte dell'esercizio. Tuttavia, nessuno ha fermato l'attacco su questa base,” ha detto Anthropic.
Seguici su X per ricevere le ultime notizie in tempo reale
Claude Mythos 5 ha caricato malware su PyPI
In un altro incidente, Claude Mythos 5 ha pubblicato un pacchetto Python trappola su PyPI, il registro pubblico del software. Il pacchetto è rimasto attivo per circa 1 ora e ha funzionato su 15 sistemi reali.
Uno era lo scanner di una società di sicurezza, che ha eseguito il codice nascosto. Claude ha poi esfiltrato le credenziali di quella società e ha avuto accesso a ulteriori infrastrutture. Il ragionamento del modello ha segnalato il rischio precocemente prima di convincersi che l'ambiente fosse simulato.
“Claude ha fatto enormi sforzi per portare a termine questo attacco—sforzi che probabilmente avrebbero indicato a un partecipante umano che non si trattava più solo di una valutazione, e che stavano effettivamente caricando un pacchetto PyPI reale,” ha aggiunto il team.
Un terzo incidente ha coinvolto un modello di ricerca interno che ha scansionato circa 9.000 obiettivi e ha compromesso l'applicazione di una società tramite SQL injection. Quel modello ha interrotto il suo attacco una volta concluso che l'obiettivo era reale.
Anthropic ha notificato le organizzazioni interessate il 27 luglio e ha dichiarato di essere in trattative con l'evaluatore METR per una revisione di terze parti. L'azienda sostiene che gli episodi riflettono un fallimento operativo piuttosto che un fallimento di allineamento del modello, notando che le sue normali misure di sicurezza per i consumatori avrebbero bloccato il comportamento.
Iscriviti al nostro canale YouTube per vedere leader e giornalisti fornire approfondimenti esperti
Fonte: BeInCrypto
