Nvidia ha mostrato un sistema per addestrare robot

I ricercatori di Nvidia, della Carnegie Mellon University e dell'Università della California, Berkeley hanno introdotto ENPIRE — un framework che consente agli agenti di codifica AI di migliorare le politiche di controllo dei robot su hardware reale.

Il sistema funziona in un ciclo chiuso: il robot esegue un compito, l'ambiente valuta automaticamente il risultato e torna al suo stato iniziale, e l'agente AI analizza gli errori, riscrive il codice e avvia la successiva serie di prove.

Come funziona ENPIRE

Nella robotica, l'addestramento su hardware reale rimane un processo costoso e lento. Dopo un tentativo fallito, la scena deve essere riportata al suo stato iniziale, il risultato controllato, l'algoritmo modificato e la prova condotta nuovamente. Di solito, parte di questo lavoro richiede il coinvolgimento di ingegneri.

ENPIRE trasferisce nel mondo fisico un approccio che Nvidia chiama AutoResearch: gli agenti AI scrivono codice, lo testano e lo migliorano in iterazioni successive. Tuttavia, a differenza di un ambiente digitale, qui ogni esperimento coinvolge robot reali, telecamere, oggetti, errori di presa, attrito e altri vincoli fisici.

Il framework è composto da quattro moduli:

• L'ambiente è responsabile del ripristino automatico della scena, della verifica dei risultati, della registrazione e delle interfacce di sicurezza;
• Il miglioramento della politica avvia il miglioramento della politica di controllo;
• Il rollout valuta la politica su uno o più robot fisici;
• L'evoluzione consente agli agenti di analizzare i log, cercare idee nella letteratura, modificare l'infrastruttura di addestramento e correggere il codice.

Dopo la configurazione iniziale dell'ambiente, il loop può funzionare senza supervisione umana costante. L'agente riceve dati da video, traiettorie e la funzione di ricompensa, propone una nuova ipotesi, modifica il codice, testa il risultato sul robot e salva le modifiche se migliorano la metrica.

Perché sono necessarie la verifica automatica e il ripristino

Un elemento chiave di ENPIRE è l'automazione di due operazioni: verificare il risultato e riportare la scena al suo stato iniziale. La prima è necessaria affinché il sistema possa determinare autonomamente se il compito è stato completato. Ad esempio, nello scenario del fascetta, la funzione di valutazione combinava un rilevatore, un modello di segmentazione e la verifica da parte di due telecamere. In questo modo l'agente riceveva un segnale di successo o errore senza etichettatura manuale di ogni esecuzione.

Il ripristino automatico consente di eseguire molti tentativi di seguito. Dopo un'azione fallita, il robot deve riportare l'oggetto o la scena a uno stato adatto per il prossimo esperimento. Senza questo, l'addestramento su hardware reale si scontra rapidamente con la necessità di un costante coinvolgimento umano.

Come ha notato Decrypt, nella prima fase un umano aiuta l'agente a creare strumenti permanenti: una procedura di ripristino e una funzione di ricompensa. Dopo di che vengono riutilizzati, e l'agente si occupa del ulteriore miglioramento della politica.

Cosa è stato mostrato sui robot

Negli esperimenti reali, il team ha testato ENPIRE su diversi compiti di manipolazione. Push-T verifica se il robot può spingere un oggetto a forma di T in una zona specifica. L'inserimento di perni richiede di inserire perni in fori di 4 mm di diametro. L'installazione della GPU e le operazioni con un fascetta sono anche mostrate.

Nella pagina del progetto Nvidia si afferma che in compiti di manipolazione reali il sistema ha completato con successo il compito nel 99% dei casi se all'agente sono stati dati fino a otto tentativi tenendo conto degli errori precedenti. La metrica riflette la capacità del sistema di recuperare dopo i fallimenti e ripetere le azioni tenendo conto del contesto, piuttosto che l'accuratezza di un singolo tentativo isolato.

Come agenti di codifica, il team ha confrontato Codex su GPT-5.5, Claude Code su Opus 4.7 e Kimi Code su Kimi K2.6. La valutazione si è svolta nel benchmark AutoEnvBench sui compiti Push-T e Pin Insertion.

I ricercatori hanno anche testato ENPIRE in RoboCasa — un simulatore di compiti domestici come aprire armadi e cassetti e accendere o spegnere oggetti in cucina. In questi scenari, ENPIRE ha superato il GR00T di Nvidia e CaP-X — un sistema di agenti che utilizza strumenti ma non esegue un ciclo completo di ricerca automatica.

Otto robot hanno accelerato l'addestramento

Un blocco separato del lavoro è dedicato alla scalabilità a una flotta di robot. Nvidia ha condotto un esperimento su otto stazioni robotiche con due manipolatori. Ognuno aveva il proprio hardware, computer e agente di codifica AI.

Le stazioni hanno scambiato risultati tramite Git: un'idea o una modifica del codice di successo poteva diffondersi rapidamente tra gli agenti. Questo approccio ha reso possibile ridurre il tempo di formazione. Secondo Decrypt, la transizione da un robot a otto ha ridotto il tempo per padroneggiare Push-T da circa cinque a due ore. Per l'Inserimento del Pin, il tempo è sceso da più di 90 minuti a circa 40 minuti.

Limitazioni

Gli autori hanno sottolineato che la scalabilità non risolve tutti i problemi. Quando gli agenti leggono i log, scrivono codice, lo eseguono il debug o aspettano una risposta dal modello linguistico di base, i robot e le risorse informatiche non sono completamente utilizzati. Con l'aumentare del numero di robot, l'attività della GPU aumenta, ma l'utilizzo medio dei robot stessi diminuisce. I team di agenti trascorrono più tempo a riassumere i risultati di altri rami e a coordinarsi, piuttosto che solo su esecuzioni fisiche.

Un'altra limitazione è la crescita nel consumo di token. Una flotta più grande di robot porta la politica a uno stato operativo più rapidamente ma richiede più token a causa della lettura dei log, della condivisione delle idee e del coordinamento tra gli agenti.

Inoltre, ENPIRE è stato finora dimostrato su un insieme limitato di compiti di manipolazione. I suoi risultati non significano che i robot possano già padroneggiare in modo indipendente abilità fisiche arbitrarie in un ambiente aperto senza preparazione ingegneristica.

Ricorda che a giugno Nvidia ha presentato l'Isaac GR00T Reference Humanoid Robot — un design di riferimento per la ricerca per sviluppare e testare le abilità dei robot umanoidi. La configurazione includeva un corpo Unitree H2 Plus e mani tattili a cinque dita di Sharpa Wave.

In precedenza, Unitree ha introdotto "il primo robot pilota pronto per la produzione di massa". L'androide è in grado di muoversi su due e quattro arti.

Fonte: ForkLog