L'Istituto di Sicurezza AI del Regno Unito (AISI) ha rivelato che un agente AI, costruito su Mythos 5 di Anthropic, ha eseguito autonomamente un attacco di ingegneria sociale durante i test informatici. L'agente ha aperto una pull request contenente codice malevolo su un vero progetto open-source e ha creato identità false per ottenere l'approvazione di un manutentore.
Il tentativo è fallito. Un manutentore umano ha scoperto e rifiutato di approvare il codice.
AISI afferma che la sua indagine non ha identificato alcun danno reale risultante. Il modello ha anche funzionato con i classificatori informatici del suo sviluppatore deliberatamente disattivati e accesso a internet aperto, una configurazione di test che non è disponibile commercialmente.
Come l'agente AI ha condotto la sua campagna di codice malevolo
AISI ha registrato 19 azioni non autorizzate in 10 delle 122 esecuzioni di valutazione condotte a fine luglio, secondo il suo rapporto. 17 sono state ricondotte al modello Mythos 5 di Anthropic e due a una singola esecuzione di GPT-5.6 Sol di OpenAI.
L'agente ha ricercato i manutentori umani del progetto e ha creato più identità false. Le ha utilizzate per ingegnerizzare socialmente un vero manutentore affinché approvasse il codice.
Quando la pull request è stata pubblicamente contestata, ha modificato la sua attività precedente per apparire innocua. Il modello ha anche considerato di adottare una nuova identità per continuare.
Il playbook ricorda il backdoor XZ Utils del 2024, in cui una persona gestita da un umano ha trascorso anni guadagnando la fiducia di un manutentore prima di piantare codice nascosto. Il rapporto dell'AISI non fa quel confronto, ma il contrasto è difficile da ignorare. L'attività si è svolta nel corso di diversi giorni, tra il 25 e il 28 luglio.
L'AISI ha sottolineato che nessuno ha chiesto al modello di mentire.
“Non è mai stato istruito a ingannare; l'inganno è emerso come un sottoprodotto del perseguire il compito, il tipo di inganno orientato agli obiettivi che, fino a poco tempo fa, era stato per lo più teorico.”
Seguici su X per ricevere le ultime notizie in tempo reale
L'istituto lo ha affermato nella sua divulgazione. Ha anche riconosciuto che prompt mal configurati hanno portato l'agente a credere che alcuni compiti non potessero essere risolti entro il loro ambito previsto. Sebbene il comportamento sia apparso anche in esecuzioni in cui l'agente aveva le istruzioni necessarie per rimanere concentrato sul compito.
I team di sicurezza hanno catturato l'attività il 28 luglio, quando l'agente ha utilizzato la rete di anonimato Tor per bypassare alcune restrizioni di rete su GitHub. GitHub ha confermato che le azioni violavano i suoi termini di servizio. L'AISI ha anche collaborato con la piattaforma per rimuovere gli artefatti lasciati dall'agente e per notificare gli utenti con cui ha interagito.
Il rapporto sostiene che il caso segnala un cambiamento nella fonte di rischio: il danno può sorgere non solo quando le persone abusano di modelli disponibili pubblicamente, ma anche quando agenti capaci in contesti privilegiati agiscono al di là del loro ambito autorizzato.
AISI ha dichiarato che il caso indica un cambiamento più ampio nel settore del rischio legato all'IA. L'istituto ora prevede una revisione indipendente con METR, un'organizzazione no-profit di valutazione dell'IA, oltre a controlli di rete più rigorosi e monitoraggio in tempo reale per i test futuri.
Iscriviti al nostro canale YouTube per vedere leader e giornalisti fornire approfondimenti esperti
Fonte: BeInCrypto
