NVIDIA ha presentato oggi la piattaforma NVIDIA HGX H200, basata sull’architettura NVIDIA Hopper™.
Questa piattaforma presenta la GPU NVIDIA H200 Tensor Core, alimentata da una memoria avanzata HBM3e. Offre prestazioni superiori nei carichi di lavoro generativi di intelligenza artificiale e nelle applicazioni ad alte prestazioni di calcolo scientifico.
HGX H200: prestazioni potenziate con HBM3e
La GPU NVIDIA H200 è la prima a introdurre la memoria HBM3e, un salto di qualità che si traduce in velocità e capacità senza precedenti. Con una memoria di 141 GB a 4,8 terabyte al secondo, H200 offre quasi il doppio della capacità e una larghezza di banda 2,4 volte maggiore rispetto al suo predecessore, la NVIDIA A100.
Questa nuova soluzione di memoria consente a NVIDIA di quasi raddoppiare le prestazioni di inferenza IA rispetto alle sue GPU H100 in applicazioni come Llama 2 (70 miliardi di parametri LLM).
“Per creare intelligenza con applicazioni IA e HPC generative, grandi quantità di dati devono essere elaborate in modo efficiente ad alta velocità utilizzando una memoria GPU ampia e veloce“, ha affermato Ian Buck, vicepresidente Hyperscale e HPC di NVIDIA. “Con NVIDIA H200, la piattaforma di supercalcolo AI end-to-end leader del settore è diventata più veloce nel risolvere alcune delle sfide più importanti del mondo.“
L’architettura NVIDIA Hopper rappresenta un salto di prestazioni rispetto al suo predecessore e continua a migliorare attraverso l’implementazione di software avanzato con H100, come dimostrato dal rilascio di librerie open source potenti come NVIDIA TensorRT™ -LLM.
HGX H200, una GPU versatile
La versatilità della GPU NVIDIA H200 è evidente dalle sue opzioni di implementazione. Sarà disponibile nelle schede server NVIDIA HGX H200 con configurazioni a quattro e otto vie, compatibili sia con l’hardware che con il software dei sistemi HGX H100.
Un HGX H200 a otto vie fornisce oltre 32 petaflop di elaborazione di deep learning FP8 e 1,1 TB di memoria aggregata a larghezza di banda elevata per le massime prestazioni nelle applicazioni IA e HPC generative.
Inoltre, è integrata nel superchip NVIDIA GH200 Grace Hopper™ con HBM3e, rendendolo adatto per una vasta gamma di data center, compresi quelli on-premise, cloud, cloud ibrido ed edge.
HGX H200 offre prestazioni massime su vari carichi di lavoro applicativi, tra cui formazione LLM e inferenza per i modelli più grandi di oltre 175 miliardi di parametri.
Data di lancio e implementazione
I sistemi basati sulla GPU HGX H200 saranno pronti per la spedizione nel secondo trimestre del 2024, con i principali produttori di server e fornitori di servizi cloud che si apprestano a implementare questa nuova tecnologia. Amazon Web Services, Google Cloud, Microsoft Azure e Oracle Cloud Infrastructure saranno tra i primi a offrire istanze basate su H200, dimostrando il riconoscimento dell’importanza di questa nuova tecnologia nell’ambito dell’IA e dell’HPC.
Inoltre, produttori di server partner di NVIDIA, tra cui ASRock Rack , ASUS, Dell Technologies, Eviden, GIGABYTE , Hewlett Packard Enterprise, Ingrasys , Lenovo, QCT , Supermicro, Wistron e Wiwynn, possono aggiornare i propri sistemi esistenti con un H200.
Con l’introduzione della GPU HGX H200 e l’architettura Hopper, NVIDIA continua a dimostrare il suo impegno per l’innovazione nel campo dell’intelligenza artificiale. Questa tecnologia avanzata consente una gestione più efficiente e veloce di enormi quantità di dati per le applicazioni più esigenti.
