X.ai, la startup di intelligenza artificiale di Elon Musk, ha rivelato la sua ultima versione del modello generativo Grok, Grok-1.5. L’annuncio di Grok-1.5 arriva dopo che X.ai ha rilasciato open source il codice di Grok-1. Questa nuova iterazione offre miglioramenti sostanziali rispetto alla precedente versione Grok-1. Le prestazioni sono migliorate in compiti di codifica e matematica.
Caratteristiche migliorate di Grok-1.5
Secondo i benchmark pubblicati da X.ai, Grok-1.5 ha più che raddoppiato il punteggio di Grok-1 nel test di matematica MATH. Inoltre, ha ottenuto oltre 10 punti percentuali in più nel test HumanEval; questo test valuta la generazione di linguaggi di programmazione e le capacità di risoluzione dei problemi.
Una delle caratteristiche più interessanti è la sua capacità di elaborare contesti lunghi fino a 128.000 token testuali. Questo consente al modello di avere una capacità di memoria fino a 16 volte superiore rispetto alla versione precedente. Di conseguenza, potrà utilizzare informazioni da documenti sostanzialmente più lunghi anche se sfortunatamente al momento Grok non accetta allegati.
Grok-1.5 è però in grado di gestire sequenze di prompt più lunghi e complessi. Anche nei test di valutazione NIAH (Needle In A Haystack), ha dimostrato capacità elevate di recupero per testi incorporati all’interno di contesti fino a 128.000 token, ottenendo risultati di recupero perfetti.
Addestramento
Il modello utilizza un framework di addestramento distribuito personalizzato basato su JAX, Rust e Kubernetes. Questo stack consente al team di X.ai di prototipare rapidamente nuove idee e addestrare architetture a larga scala con sforzi minimi. Una delle sfide nell’addestramento di LLM su grandi cluster di calcolo è massimizzare l’affidabilità e il tempo di attività dei processi di addestramento.
Per affrontare questo problema, X.ai ha sviluppato un orchestratore di addestramento personalizzato. I nodi problematici vengono rilevati automaticamente e rimossi dal processo di addestramento. Inoltre, hanno ottimizzato i checkpoint, il caricamento dei dati e il riavvio dei processi di addestramento per minimizzare il tempo di inattività in caso di guasti o errori.
Disponibilità di Grok-1.5
Grok-1.5 è già disponibile per gli premium sulla piattaforma X. Sarà accompagnato da diverse altre nuove funzionalità. Sebbene non siano stati forniti dettagli specifici sulle novità, Elon Musk aveva precedentemente accennato a funzioni come il riassunto di thread e risposte e suggerimenti per la creazione di contenuti.
Se hai un account premium X e vuoi utilizzare o testare Grok dall’Italia devi necessariamente connetterti con una VPN, per esempio una VPN di un server degli Stati Uniti.
