Ricercatore di Anthropic si dimette e avverte: i laboratori di IA temono in privato che possa «ucciderci tutti»
Il ricercatore di Anthropic Jacob Coxon ha dichiarato di essersi dimesso dall’azienda, sostenendo che Anthropic e OpenAI stanno correndo verso una superintelligenza capace di auto-migliorarsi e stanno scommettendo sulle vite umane.
Il ricercatore ha detto di aver lavorato negli ultimi tre anni al pre-addestramento in entrambe le aziende. Ha formulato queste affermazioni in una serie di post su X.
Un ricercatore di Anthropic se ne va lanciando un cupo avvertimento a chi è ancora dentro
Coxon ha sostenuto che la traiettoria della tecnologia è ampiamente sottovalutata. Ha affermato che i sistemi in arrivo hackereranno qualsiasi cosa, trasformeranno da un giorno all’altro ogni settore e acquisiranno potere e risorse concrete.
Ha inoltre sostenuto che le conversazioni private all’interno del settore sono molto diverse dai messaggi pubblici. Secondo Coxon, le figure di spicco attenuano i toni quando parlano con la stampa, mentre in privato esprimono paura.
«Chi sviluppa l’IA crede sinceramente che potrebbe ucciderci tutti entro la fine del decennio. Non è una trovata di marketing», ha detto. «Nessun’altra attività umana comporta un pericolo di questo livello».
Coxon ha fatto una distinzione tra i suoi due ex datori di lavoro. Ha sostenuto che molti in OpenAI non hanno compreso appieno quella che ha definito una posta in gioco di portata civilizzazionale, mentre Anthropic ne capisce la portata ma resta intrappolata in una corsa per arrivare prima.
È uno dei tanti dipendenti che quest’anno hanno preso le distanze dalla linea aziendale. A febbraio si è dimesso Mrinank Sharma, responsabile delle misure di salvaguardia di Anthropic.
Il 1° settembre Joshua Achiam, già responsabile delle previsioni sul futuro di OpenAI, ha scritto che i sistemi di IA fuori controllo si replicheranno allo stato brado e perseguiranno denaro e potere.
Seguici su X per ricevere le ultime notizie in tempo reale
L’appello al coordinamento
Coxon ha descritto l’ingresso in quella che ha definito la fase finale come una scommessa dettata dalla tracotanza. Ha sostenuto che una decisione del genere non dovrebbe essere presa in una chat Slack aziendale privata.
Ha però detto di restare ottimista riguardo al coordinamento. Ha affermato che l’attacco a Hugging Face ha reso più praticabili gli accordi sul ritmo dello sviluppo tra i laboratori statunitensi.
Entrambe le aziende hanno già sostenuto una versione di questa idea. A luglio, oltre 1.100 dipendenti di laboratori all’avanguardia hanno firmato la lettera «Pacing the Frontier», tra cui il CEO di Anthropic Dario Amodei e il responsabile scientifico di OpenAI Jakub Pachocki.
«Chiediamo al governo degli Stati Uniti di sostenere uno sforzo internazionale volto a sviluppare gli strumenti tecnici e di governance necessari per gestire deliberatamente il ritmo dello sviluppo dell’IA automatizzata all’avanguardia», si legge nella lettera.
Inoltre, entrambe le aziende hanno firmato una lettera aperta congiunta sulla difesa informatica, insieme a Google, Microsoft e a circa 150 altre organizzazioni. La lettera avverte che gli attacchi basati sull’IA diventeranno molto più diffusi e sofisticati nei prossimi mesi.
L’avvertimento di Coxon arriva inoltre poco dopo che l’Alto commissario delle Nazioni Unite per i diritti umani, Volker Türk, ha dichiarato al Consiglio per i diritti umani che l’IA avanzata potrebbe rappresentare un rischio esistenziale.
Coxon ha aggiunto che per impedire una corsa globale potrebbe essere necessario vietare temporaneamente gli sforzi volti a potenziare le capacità dei modelli. Ha concluso invitando i ricercatori dei laboratori a chiedersi se vogliano avviare un ciclo di apprendimento per rinforzo superintelligente senza comprendere il sistema che ne risulterà.
BeInCrypto ha contattato Anthropic e OpenAI per un commento.
Iscriviti al nostro canale YouTube per vedere leader e giornalisti fornire approfondimenti esperti
Fonte: BeInCrypto