Un gamer appassionato e sviluppatore di nome Sammyuri ha creato un modello linguistico funzionante all’interno di Minecraft. Chiamato CraftGPT, sfrutta la flessibilità dei blocchi di Redstone del gioco per costruire una struttura colossale; ci sono 1020×260×1656 blocchi, per un totale di 439 milioni di elementi. Il modello, notevolmente più piccolo dei grandi sistemi di intelligenza artificiale, conta comunque 5.087.280 parametri; inoltre, è stato addestrato sul dataset TinyChat, contenente conversazioni semplici in inglese.
Il modello di linguaggio funziona effettivamente, permettendo interazioni conversazionali direttamente nell’ambiente di gioco. Tuttavia, i tempi di risposta sono estremamente lunghi, di circa 2 ore. Sammyuri ha documentato l’intero processo su GitHub, rendendo disponibile il progetto per chiunque. Il suo esperimento unisce il mondo del gaming con quello dell’IA in un modo alquanto particolare.
Dietro CraftGPT
La realizzazione di CraftGPT rappresenta una vera e complessa impresa ingegneristica; sfrutta le meccaniche di Redstone di Minecraft per simulare i componenti essenziali di un sistema di elaborazione. Sammyuri ha costruito letteralmente un computer all’interno del gioco; completo di tokenizer e moltiplicatori di matrici, elementi fondamentali per l’elaborazione del linguaggio naturale. Il modello presenta una dimensione di embedding di 240, un vocabolario di 1920 token e si compone di 6 layer, con una finestra di contesto limitata a 64 token, sufficiente solo per conversazioni molto brevi.
La maggior parte dei pesi del modello è stata quantizzata a 8 bit; mentre i pesi di embedding e LayerNorm sono conservati rispettivamente a 18 e 24 bit. Per rendere possibile il funzionamento, Sammyuri ha dovuto affrontare sfide legate principalmente alla lentezza estrema dell’elaborazione. Anche utilizzando MCHPRS (Minecraft High Performance Redstone Server) per aumentare il tick rate di 40.000 volte, il sistema impiega circa due ore per generare una risposta a una semplice domanda. Senza questa ottimizzazione, i tempi si estenderebbero ad anni. Questa limitazione evidenzia la differenza tra hardware fisico e simulazioni virtuali; anche quando queste ultime sono ingeniosamente realizzate, come nel caso di CraftGPT!
Un esperimento tra gioco e ricerca
Nonostante l’indiscutibile valore ingegneristico, Sammyuri stesso invita a moderare le aspettative sulle prestazioni di CraftGPT. Il modello mostra diverse limitazioni che ne rendono l’uso attuale poco pratico per applicazioni reali. Tra queste, la tendenza a deviare dall’argomento principale, a produrre risposte grammaticalmente errate o a generare semplicemente contenuti incoerenti.
Tuttavia, CraftGPT non va giudicato esclusivamente sulla base della sua utilità pratica; l’esperimento rivela il potenziale educativo e esplorativo di piattaforme come Minecraft per la comprensione di concetti complessi come l’IA. Attraverso questo progetto, Sammyuri dimostra come sia possibile visualizzare e interagire con componenti normalmente astratti dell’IA; quindi, trasforma la teoria in un’esperienza tangibile.
