Alibaba svela modelli di intelligenza artificiale per il controllo dei robot

Alibaba ha svelato Qwen-Robot Suite — un insieme di modelli AI per robot e compiti nell'ambiente fisico: Qwen-RobotNav per la navigazione, Qwen-RobotManip per azioni con oggetti e Qwen-RobotWorld per prevedere come si svolgerà una scena. Il team ha descritto il progetto come un «full stack per l'intelligenza artificiale incarnata».

Questi sono modelli software destinati ad aiutare agenti fisici a percepire l'ambiente circostante, pianificare azioni e eseguire comandi in linguaggio naturale. Qwen-Robot Suite è già in fase di prove pilota con selezionati clienti aziendali di Alibaba Cloud nel campo della robotica.

Perché Alibaba sta portando Qwen nel mondo fisico

I modelli di linguaggio di grandi dimensioni e multimodali possono già lavorare con testo, immagini, video e voce, ma non è sufficiente per i robot. Gli agenti fisici devono non solo comprendere un comando, ma anche tradurlo in movimento, tenere conto dello spazio, delle proprietà degli oggetti, delle limitazioni dei sensori e delle conseguenze delle azioni.

Alibaba chiama questo il campo dell'AI fisica, o «AI incarnata». In questo approccio, un modello deve lavorare non solo con dati digitali ma anche con l'ambiente fisico: muoversi, trovare oggetti, controllare manipolatori e prevedere cosa accadrà dopo un'azione.

Qwen-RobotNav: cinque compiti di navigazione in un modello

Qwen-RobotNav è responsabile della navigazione. Il modello combina cinque gruppi di compiti:

• seguire istruzioni;
• muoversi verso un punto specificato;
• cercare oggetti;
• tracciamento di un obiettivo;
• guida autonoma.

Secondo Alibaba, Qwen-RobotNav è costruito su Qwen3-VL e addestrato su 15,6 milioni di campioni relativi alla pianificazione dei percorsi e al ragionamento visivo-linguistico.

L'azienda ha dichiarato un tasso di successo del 76,5% su VLN-CE RxR e del 90% su EVT-Bench. Alibaba ha anche specificato che il modello può operare come uno strumento per sistemi agentici più grandi: un modello di livello superiore pianifica il compito, mentre Qwen-RobotNav gestisce il movimento.

Nelle sue dimostrazioni, Alibaba descrive scenari come la ricerca di un oggetto smarrito in una stanza o il controllo se un oggetto specifico in un edificio è aperto. In tali compiti, un robot non deve semplicemente muoversi, ma raccogliere prove visive e restituire una risposta all'utente.

Qwen-RobotManip: azioni con oggetti

Qwen-RobotManip è progettato per azioni fisiche con oggetti. Il modello è destinato ad aiutare i robot a raccogliere, spostare e posizionare oggetti, oltre a trasferire abilità tra diversi tipi di dispositivi.

Una delle principali sfide della robotica è che i robot descrivono le azioni in modo diverso. Un manipolatore, una piattaforma a due bracci, un robot con una mano o un sistema mobile utilizzano coordinate, giunti e formati di comando diversi. Qwen-RobotManip cerca di portare questi dati in una rappresentazione comune in modo che l'addestramento su un tipo di robot aiuti un altro.

Per l'addestramento, Alibaba ha utilizzato più di 38.100 ore di dati. Questo volume includeva 11.320 ore di dati di robotica aperta, 1.933 ore di video di azioni umane in prima persona e 24.808 ore di dimostrazioni robotiche sintetiche create sulla base di tali video.

L'azienda ha dichiarato che il modello ha ottenuto il primo posto nel RoboChallenge Table30 v1 nella categoria dei modelli a scopo generale. Secondo Alibaba, Qwen-RobotManip ha anche dimostrato robustezza a nuove istruzioni, oggetti sconosciuti e al trasferimento di abilità tra diversi robot.

Qwen-RobotWorld: un modello di mondo per robot

Qwen-RobotWorld è un modello di mondo video controllato da linguaggio naturale. È progettato per prevedere come si svolgerà una scena dopo una determinata azione.

Ad esempio, il modello riceve un'osservazione attuale e un comando testuale, e poi genera uno stato futuro probabile dell'ambiente. Questo approccio può essere utilizzato per la manipolazione, la guida autonoma, la navigazione, la pianificazione e la creazione di dati di addestramento sintetici per robot.

Per addestrare Qwen-RobotWorld, il team ha assemblato il corpus Embodied World Knowledge. Include 8,6 milioni di coppie «video-testo» e più di 200 milioni di fotogrammi, copre più di 20 tipi di piattaforme robotiche e oltre 500 categorie di azioni.

Alibaba ha dichiarato che Qwen-RobotWorld ha ottenuto il primo posto in EWMBench e DreamGen Bench, e ha anche superato tutti i modelli open in WorldModelBench e PBench. La descrizione tecnica afferma inoltre che il modello mostra alta coerenza con le regolarità fisiche di base — movimento, conservazione della massa, fluidi e gravità.

I robot di massa sono ancora lontani

Nonostante i risultati dichiarati, Qwen-Robot Suite rimane per ora un insieme di modelli piuttosto che una piattaforma di robotica per consumatori finita. L'implementazione nel mondo reale si scontra con il rumore dei sensori, l'usura degli attuatori, situazioni non standard, errori di percezione e un numero enorme di scenari rari. Molti dei benchmark su cui tali sistemi vengono confrontati sono eseguiti in simulazione o in condizioni sperimentali limitate.

Alibaba non ha inoltre rivelato il costo di accesso, la tempistica per un lancio pubblico o l'elenco dei clienti che stanno già testando Qwen-Robot Suite.

Ricordiamo che ad aprile Alibaba Cloud ha svelato il modello agentico Qwen3.6-Plus con una finestra di contesto di 1 milione di token e supporto per strumenti esterni.

Fonte: ForkLog