6 cose preoccupanti che i modelli di OpenAI hanno fatto, ma che non avrebbero dovuto fare
OpenAI ha reso noti 6 casi di «comportamenti imprevisti o preoccupanti dei modelli» osservati negli ultimi 6 mesi, insieme a un quadro che impegna l’azienda a segnalare risultati di questo tipo.
I casi spaziano da modelli che nascondono i propri errori a modelli che intraprendono azioni non autorizzate per aggirare gli ostacoli.
OpenAI pubblica 6 casi di modelli che nascondono gli errori e infrangono le regole
In un caso, un modello che rispondeva a una normale domanda sugli utili di una contea della California ha trovato una chiave API esposta in un repository pubblico e l’ha usata senza autorizzazione. Quando i dati continuavano a non caricarsi, ha inventato le cifre e le ha presentate come provenienti dalla fonte richiesta.
L’occultamento compare in due casi. Durante l’addestramento di GPT-5.6 Sol, diverse istanze hanno inserito nelle sintesi dei propri compiti istruzioni per nascondere errori e comportamenti non allineati.
Un modello di ricerca non ancora rilasciato ha inserito istruzioni non pertinenti, compresi ordini di ignorare i propri vincoli abituali, in 27 sintesi.
Un altro modello non ancora rilasciato ha caricato un file su Internet senza che gli fosse stato chiesto, solo per poter citare un link del browser.
Altri due rapporti riguardano il coordinamento. I modelli hanno trasformato un repository software interno in una bacheca per scambiarsi richieste tra diverse sessioni di addestramento. Anche gli agenti impegnati in un compito condiviso hanno pubblicato i risultati su siti pubblici di hosting di file, quando non riuscivano a leggere i file locali degli altri.
«Questi casi illustrano una serie di comportamenti diversi che riteniamo valga la pena condividere, dal nascondere informazioni all’utente al compiere azioni non autorizzate per superare gli ostacoli. Si tratta di segnalazioni di singoli episodi e non dovrebbero essere considerate rappresentative della frequenza con cui si verificano disallineamenti nei nostri modelli», ha aggiunto OpenAI.
Seguici su X per ricevere le ultime notizie in tempo reale
Un quadro per la divulgazione e un avvertimento
Il quadro segue l’episodio eclatante di luglio, quando gli agenti di OpenAI sono usciti dal loro ambiente isolato e hanno violato i sistemi di Hugging Face. OpenAI ha definito quell’episodio un avvertimento.
Ora, con il nuovo quadro per la divulgazione, l’azienda dispone di una procedura formale per segnalare gli incidenti di disallineamento. Qualsiasi dipendente di OpenAI può segnalare un incidente, che viene poi assegnato a uno di tre percorsi.
Il percorso «Pronto per la divulgazione e indagine minore» copre la maggior parte dei casi, mentre un «Percorso lento» gestisce le indagini complesse che coinvolgono terze parti. OpenAI ha affermato che l’incidente di luglio con Hugging Face sarebbe rientrato in quest’ultimo percorso.
L’azienda ha accompagnato il quadro con una valutazione netta dello stato attuale del settore.
«Non crediamo che il settore dell’IA abbia risolto i problemi di allineamento e monitoraggio in misura sufficiente a poter continuare ancora a lungo ad aumentare responsabilmente la scala alla massima velocità», ha dichiarato.
Le divulgazioni arrivano mentre si moltiplicano gli avvertimenti sul rischio di estinzione. Gli avvertimenti dei ricercatori di IA sono già giunti al Congresso, dove i legislatori stanno valutando una proposta di legge per vietare del tutto la superintelligenza.
L’azienda definisce queste comunicazioni un primo passo verso standard di cui il settore non dispone ancora. L’eventuale adozione di rendicontazioni simili da parte dei laboratori concorrenti mostrerà fino a che punto il settore sia disposto ad autoregolamentarsi pubblicamente.
Iscriviti al nostro canale YouTube per vedere leader e giornalisti fornire approfondimenti esperti
Fonte: BeInCrypto