La spinta di Vitalik Buterin per l’IA locale: il tuo laptop può sostituire ChatGPT?

Il cofondatore di Ethereum Vitalik Buterin afferma che l’intelligenza artificiale (IA) locale è vicina a poter gestire gran parte delle attività quotidiane. Ha eseguito Qwen3.8-Flash-Next di Alibaba sul proprio laptop e ha pubblicato i risultati in termini di velocità.

A differenza di ChatGPT, questa configurazione non contatta mai un server cloud. Il modello risiede sul computer, che risponde alla richiesta autonomamente.

Il test di Vitalik Buterin sull’IA locale dimostra una velocità adeguata all’uso pratico

Il suo laptop usa il chip Strix Halo di AMD. La maggior parte dei computer ripartisce il lavoro tra un processore e una scheda grafica separata, ciascuno con il proprio blocco di memoria. Strix Halo, invece, li integra entrambi in un unico chip e consente loro di condividere la stessa memoria.

Questo design è importante perché, prima ancora di poter funzionare, un modello di IA deve poter essere caricato in memoria. Una scheda grafica tipica offre da 8 a 24 gigabyte, troppo pochi per un modello di queste dimensioni. I computer con Strix Halo sono disponibili con fino a 128 gigabyte, utilizzabili da entrambe le parti del chip. Un solo laptop può quindi contenere un modello che fino a poco tempo fa richiedeva hardware da server.

Le velocità che ha pubblicato sono sufficienti per le attività di tutti i giorni. Le risposte ai prompt brevi arrivavano a un ritmo di lettura confortevole. La generazione rallentava quando i prompt raggiungevano decine di migliaia di parole, perciò i documenti molto lunghi restano il punto debole.

Alibaba ha pubblicato i pesi aperti il 26 agosto. Il team afferma che il modello ha 125 miliardi di parametri, ma ne attiva solo sei miliardi alla volta, mantenendo così contenute le richieste di memoria.

Buterin l’ha chiamato Qwen3.8-Flash, anche se Alibaba distribuisce la versione scaricabile con il nome Qwen3.8-Flash-Next. Il suo modello più grande, Qwen3.8-Max, ha ottenuto ottimi risultati nei benchmark ad agosto.

Perché la privacy cambia i calcoli

Buterin vede un secondo vantaggio, oltre alla pura velocità. Un modello locale risponde sul dispositivo, così nessun fornitore riceve mai la richiesta.

Per le attività più impegnative, propone una soluzione divisa. Il modello locale gestirebbe ciò che è in grado di fare, per poi rimuovere i dettagli sensibili da tutto ciò che invia a un sistema ospitato più grande.

«usa il tuo modello locale per coordinare le richieste a modelli potenti, così le tue richieste non rivelano le tue informazioni personali»

In pratica, il modello locale estrarrebbe da un prompt nomi, indirizzi di wallet o codice privato, per poi trasmettere solo la domanda rimanente. Un simile filtro ridurrebbe ciò che lascia il dispositivo, ma non garantirebbe che nessuna informazione sensibile sfugga al controllo.

Questa proposta è in linea con la sua posizione. Ha messo in guardia dalla sorveglianza durante la battaglia sul controllo delle chat nell’UE, e per ragioni simili gli utenti delle criptovalute hanno chiesto limiti più severi per gli agenti.

Una class action intentata a maggio accusa OpenAI di aver condiviso con Meta e Google le richieste degli utenti di ChatGPT.

I fornitori di servizi cloud detengono ancora il primato. Eppure, ogni miglioramento delle prestazioni locali trasferisce più attività di routine fuori dai loro server, mentre l’hardware economico con memoria condivisa continua a diffondersi.

La domanda aperta è quanta capacità le persone siano disposte a sacrificare in cambio del controllo.

Fonte: BeInCrypto