Anthropic afferma che l’IA ha contribuito a possibili ricerche sulle armi biologiche

Una richiesta di finanziamento è stata inserita in Claude, il cui filtro di sicurezza l’ha intercettata e respinta. Giorni dopo, lo stesso operatore è tornato e, secondo quanto riferito, i prompt respinti venivano inoltrati a un modello di IA concorrente.

Anthropic ha pubblicato questa storia che la riguarda, rivelando un caso in cui i modelli di un’azienda di IA sono coinvolti in attività legate a possibili armi biologiche.

La richiesta di finanziamento bloccata

La richiesta mirava a ottenere fondi per studiare la chikungunya, un virus trasmesso dalle zanzare che provoca dolori per mesi e per il quale non esiste una cura. Il piano prevedeva di renderlo più contagioso e capace di eludere il sistema immunitario. A scriverlo erano stati scienziati civili. Il lavoro sarebbe stato ospitato da un istituto militare.

Ogni interazione veniva bloccata, ma fu trovato un modo per aggirare il blocco. Il servizio usato dai ricercatori aveva predisposto un sistema di riserva basato sul modello di un concorrente. Claude aveva contribuito a scrivere quel codice. Il compito gli era stato presentato come una soluzione ai rifiuti eccessivi.

Cinque casi, nessuna intenzione comprovata

Il rapporto è lungo 154 pagine e presenta cinque casi in ambito biologico. Anthropic ha bannato gli account e tenuto riservati i nomi dei laboratori, ma non è arrivata ad accusare nessuno, come molti si aspettavano.

«Non affermiamo che intendessero fare del male e identificarli, o identificare i loro laboratori, potrebbe esporli a rischi», ha dichiarato il team nel rapporto.

È significativo, tuttavia, che i filtri abbiano funzionato in alcuni casi. Un ricercatore sull’influenza aviaria è stato indirizzato verso modelli meno potenti e, secondo Anthropic, il loro aiuto è stato perlopiù di natura amministrativa.

I casi di Anthropic sulle armi biologiche, in cifre

Seguici su X per ricevere le ultime notizie in tempo reale

La parte che dovrebbe preoccupare

La maggior parte di quei 35 tentativi riguardava la normale ricerca scientifica civile. È questo il problema. Le stesse conoscenze possono servire a creare un vaccino o un’arma, e un filtro non può leggere nel pensiero.

«Un classificatore non può al tempo stesso consentire benefici e impedire danni», ha dichiarato Anthropic.

I suoi limiti erano già stati messi alla prova. Ad aprile, un gruppo su Discord è riuscito ad accedere al suo modello riservato già il primo giorno.

Di fronte a questi timori crescenti, Washington si sta muovendo, con i rappresentanti Ted Lieu e Nathaniel Moran che a luglio hanno presentato l’AI Kill Switch Act. La legge obbligherebbe gli sviluppatori a mantenere la possibilità di spegnere i propri sistemi.

Lo stesso rapporto ha inoltre vietato l’accesso ai clienti che avevano usato Claude per tenere traccia dei dissidenti.

Fonte: BeInCrypto