Grok 4.5 Supera il Test dell'Agente, Sostenendo la Rivendicazione di Classe Opus di Musk

Elon Musk ha definito Grok 4.5 un modello di classe Opus che funziona più velocemente e costa meno. Un benchmark indipendente e agentico fornisce ora un reale supporto a tale affermazione.

Su AutomationBench-AA di Artificial Analysis, Grok 4.5 si è classificato primo con un punteggio del 51,4% mentre costava $0,34 per compito. Ha battuto sia Claude Fable 5 (48,6%) che Claude Opus 4.8 (48,5%).

Un Controllo Indipendente sull'Affermazione di Elon Musk

SpaceXAI ha reso pubblico Grok 4.5 questa settimana, costruito sulla sua base di 1,5 trilioni di parametri V9. La presentazione di Musk si basava su valutazioni interne iniziali.

AutomationBench-AA cambia le cose. Artificial Analysis esegue il benchmark in modo indipendente e mantiene il suo set di compiti privato per prevenire contaminazioni.

Il test copre 657 compiti su 40 app simulate, tra cui Gmail, Slack, Salesforce e HubSpot. Valuta la percentuale di obiettivi completati da un agente senza infrangere le regole.

Grok 4.5: Più Economico, Più Veloce e per Lo Più Conformante

Il costo di Grok 4.5 di $0,34 per compito era ben al di sotto del costo di Fable 5 di $1,35 e di Opus 4.8 di $1,46. Gemini 3.5 Flash è arrivato più vicino a $0,49.

Il modello ha utilizzato circa 8.000 token di output per compito, circa un quarto del totale di Opus 4.8. Questa efficienza guida gran parte del divario di costo, corrispondendo al framing utilizzato da Musk al lancio.

“Il suo utilizzo totale di token di 0,44M per compito è tra i più bassi nella classifica. Il basso costo è guidato da questa efficienza così come da un prezzo basso dei token,” ha dichiarato Artificial Analysis.

Inoltre, Grok 4.5 ha completato il 79,9% degli obiettivi di task e ha superato completamente il 21,9% dei task. In Finanza, il dominio più difficile, ha guidato con il 71%, davanti al 64% di Fable 5 e al 62% di Opus 4.8.

Tuttavia, il modello ha infranto più regole rispetto ai suoi rivali più vicini. Ha registrato 0,63 violazioni delle guardrail per task, sopra il 0,55 di Opus 4.8 e il 0,46 di Gemini 3.5 Flash.

Questa differenza è importante per le aziende che utilizzano agenti in sistemi finanziari dal vivo, dove una singola violazione può comportare costi reali.

Fonte: BeInCrypto