Durante la seconda giornata della conferenza Vision 2024, il CEO di Intel Patrick Gelsinger ha presentato ufficialmente il Gaudi 3, la prossima generazione di acceleratori Intel per l’intelligenza artificiale ad alte prestazioni sviluppati da Habana Labs, una delle sue sussidiarie.
Il lancio sul mercato è previsto per il terzo trimestre del 2024, ma Intel ha già iniziato a inviare campioni ai clienti business. La scheda Gaudi 3 offre una potenza di calcolo di 1835 TFLOPS in FP8. Intel si aspetta di superare i risultati degli acceleratori Hopper di NVIDIA, come l’H100.
Gaudi 3
Il lancio del Gaudi 3 arriva in un momento cruciale per il mercato degli acceleratori IA, caratterizzato da una domanda in forte crescita e da una persistente scarsità di chip NVIDIA. Questa situazione offre a Intel un’importante opportunità di guadagnare quote di mercato, posizionandosi come valida alternativa ai prodotti di punta di NVIDIA. Il Gaudi 3 sembra offrire prestazioni ed efficienza energetica competitive, che potrebbero renderlo appetibile per i clienti alla ricerca di soluzioni più convenienti.
Secondo l’azienda, il nuovo chip offre prestazioni di training fino al 70% superiori e un’efficienza energetica del 50% migliore rispetto al modello di punta di NVIDIA.
Costruito su un processo produttivo a 5nm di TSMC, il Gaudi 3 è dotato di 128GB di memoria HBM2e che garantisce una larghezza di banda di 3,7 TB/s. Rispetto alla precedente generazione Gaudi 2, Intel afferma che il nuovo modello vanta il doppio della performance in FP8 e quattro volte quella in BF16. Inoltre, il Gaudi 3 offre il doppio della larghezza di banda di rete e 1,5 volte quella della memoria.
Intel Gaudi 3 vs NVIDIA Hopper
Intel sostiene che Gaudi 3 è in grado di superare la GPU NVIDIA H100 fino a 1,7 volte nell’addestramento di Llama2-13B in un cluster di 16 acceleratori con precisione FP8. Anche se H100 ha 2 anni, batterlo in modo significativo nell’addestramento di un modello è un risultato significativo.
Inoltre, Intel segnala prestazioni di inferenza da 1,3 a 1,5 volte superiori di H200/H100 con Gaudi 3 e miglioramenti di 2,3 volte nell’efficienza energetica.
Il chip sarà disponibile in diversi formati, tra cui una scheda PCIe da 600W e un modulo OAM da 900W per sistemi ad alte prestazioni. Questa flessibilità di configurazione permetterà ai clienti di scegliere la soluzione più adatta alle loro esigenze. Intel ha inoltre sviluppato una soluzione di cluster Gaudi 3 che può scalare fino a 8.192 acceleratori, offrendo una capacità di elaborazione di 14,6 PFLOPS in FP8.
Oltre alle specifiche tecniche, Intel ha anche annunciato di aver stretto importanti partnership con i principali OEM, tra cui Dell, HPE, Lenovo e Supermicro. Questi partner forniranno sistemi basati sul Gaudi 3, che saranno disponibili in produzione di massa nel terzo e quarto trimestre del 2024.
StabilityAI, la società britannica che si occupa di intelligenza artificiale (IA) e ha creato il modello text-to-image Stable Diffusion ha affermato: “Alternative come gli acceleratori Intel Gaudi ci offrono un migliore rapporto prezzo-prestazioni, tempi di consegna ridotti e facilità d’uso con i nostri modelli che impiegano meno di un giorno per il porting“.
Considerazioni e conclusioni
Sulla carta, gli annunci di Intel dovrebbero preoccupare in un certo qual modo la dirigenza NVIDIA; anche se al momento NVIDIA mantiene comunque un vantaggio significativo nell’ecosistema software IA, con la sua piattaforma CUDA. CUDA è un punto di riferimento per gli sviluppatori di intelligenza artificiale. Pertanto, il successo del Gaudi 3 dipenderà anche dalla capacità di Intel di costruire un solido supporto software in modo da attrarre l’adozione da parte della comunità degli sviluppatori IA.
Intel sta collaborando con altri giganti di chip e software, inclusi Google e Qualcomm per creare software open source che possa consentire alle società di software di cambiare facilmente fornitore di chip IA.
All’inizio di quest’anno, Nvidia ha rivelato le sue GPU B100 e B200, che saranno i successori dell’H100; promettono miglioramenti anche in termini di prestazioni. Si prevede che questi chip inizieranno a essere spediti entro la fine dell’anno.
Inoltre, il Gaudi 3 dovrà confrontarsi anche con le soluzioni emergenti di AMD, che con l’Instinct MI300 sta cercando anch’essa di erodere il dominio di NVIDIA. Comunque, è chiaro che la competizione nel mercato degli acceleratori IA è destinata a intensificarsi e questo potrebbe essere un buon punto di partenza per Intel.
Anche se l’impressione è che Intel sia ancora passi indietro rispetto NVIDIA, non dimentichiamo che al momento c’è molta più domanda che offerta nel settore IA. Quindi l’offerta di Gaudi 3 soprattutto se sarà a buon prezzo, potrebbe avere successo.
