SK Hynix, Micron e Samsung sono tre giganti nel settore della produzione di memoria. Attualmente stanno facendo passi significativi per soddisfare la crescente domanda di soluzioni di memoria ad alte prestazioni (HBM3E) per applicazioni di intelligenza artificiale (IA). Questi sviluppi sono cruciali per il progresso tecnologico e l’innovazione in vari campi. Si parla di data center, dispositivi mobili e sistemi di calcolo ad alte prestazioni.
In questi ultimi mesi la richiesta da parte dei datacenter per memorie di intelligenza artificiale è incrementato notevolmente. Secondo TrendForce, il prodotto dominante per il mercato della memoria ad alta larghezza di banda (HBM – High Bandwidth Memory) nel 2023 è stato l’HBM2e. E’ stato utilizzato dalle GPU NVIDIA A100/A800 e AMD MI200 e dalla maggior parte dei fornitori di servizi cloud (CSP).
Nel 2024 invece ci si aspetta una proliferazione di memorie HBM3E.
SK Hynix e il focus sulle memorie IA HBM3E
SK Hynix lo scorso gennaio ha annunciato un ritorno alla redditività nella sua ultima trimestrale, dopo un lungo periodo di perdite (anche se al netto, la società rimane ancora in rosso), segnalando un cambiamento strategico verso la produzione di memoria specificamente progettata per applicazioni IA.
Questa categoria include prodotti come le memorie HBM3E(High Bandwidth Memory), DDR5 e le loro varianti come LPDDR5 e LPDDR5T. Inoltre, SK Hynix sta sviluppando nuovi prodotti come MCR-DIMM per sistemi server e LPCAMM2 per dispositivi mobili. La ripresa finanziaria di SK Hynix è stata dovuta a un aumento significativo delle vendite di memorie HBM2 e HBM3E; il fatturato che è cresciuto di cinque volte rispetto l’anno precedente.
“Stiamo assistendo a una rapida espansione dell’IA in una varietà di settori“, ha affermato il CEO di SK Hynix Lee Seok-Hee. “Per soddisfare questa crescente domanda, continueremo a potenziare il nostro portafoglio di prodotti AI-optimized“.
Micron e la produzione di memorie HBM3E
Il boom globale dell’IA sta causando una crescente domanda di RAM veloci come la HBM3E. Anche Micron sta cavalcando l’onda dell’IA. Micron è nuova in questo settore, mentre Samsung e SK Hynix sono in affari già da tempo. Però spera di superare la concorrenza con le sue memorie IA.
L’azienda ha annunciato ieri di aver iniziato la produzione di massa di memoria HBM3E. Micron ha trovato un importante cliente in Nvidia; utilizzerà le sue memorie HBM3E nella serie di acceleratori di calcolo basati su GPU H200. Questi dispositivi avranno 144 GB di HBM3E per GPU, con 4 moduli HBME da 36GB. Micron promette una velocità di trasferimento dati di 9,2 Gbit/s per pin e un throughput di memoria di circa 1,2 TB/s per stack. Ci sarà una riduzione del 30% nel consumo energetico rispetto alle soluzioni concorrenti.
Micron però non dispone della memoria HBM3E più veloce. Samsung ha già HBM3E con 9,8 Gbit/s e SK Hynix ha annunciato addirittura HBM3E da 10 Gbit/s . E’ presumibile quindi che abbia attirato Nvidia con l’offerta di prezzo migliore.
Micron nella sua roadmap ha già in piano le nuove memorie HBM4 e HBM4E tra il 2025 e il 2026.
Samsung e la produzione di HBM3E da 36 GB
Anche Samsung non è da meno quando si tratta di memoria AI-focused. Samsung sta lavorando su una memoria HBM3E a 12 strati con una capacità di 36 GB.
Dodici strati di chip di memoria, ciascuno con 3 GB di capacità, impilati uno sopra l’altro nel pacchetto. Il risultato sono 36 GB per stack invece dei precedenti 24 GB su otto livelli. E’ la stessa tecnologia che userà anche Micron.
“La nostra tecnologia HBM rivoluzionaria sta guidando l’era dell’intelligenza artificiale su larga scala“, ha affermato il vicepresidente di Samsung, Jooyoung Lee. “Continueremo ad ampliare i confini della tecnologia di memoria per sbloccare maggiori capacità di calcolo IA“.
La produzione di massa è prevista per la prima metà del 2024. Ma i prodotti finali potrebbero essere disponibili solo entro fine anno.
Samsung è impegnata anche nella tecnologia chiamata Processing-in-Memory (PIM). Questa tecnologia consente di implementare processori direttamente nella memoria HBM. Si riduce lo spostamento dei dati e si migliora l’efficienza energetica e dei dati dei sistemi di accelerazione dell’IA. AMD ha discusso di questa tecnologia alla conferenza ISSCC 2023, evidenziando risparmi energetici fino all’85% nella movimentazione dei dati grazie alla tecnologia PIM di Samsung.
Conclusione
L’impulso alla memoria IA arriva dopo un periodo difficile per i produttori di chip di memoria. All’inizio del 2022, i prezzi delle DRAM e delle NAND flash hanno subito un forte calo a causa dell’eccesso di offerta sul mercato. Ma da allora la tendenza si è invertita, con la domanda in aumento e la carenza di offerta, facendo aumentare nuovamente i prezzi.
Il balzo dell’intelligenza artificiale è stato un fattore decisivo in questo rovesciamento. L’allenamento e l’inferenza dei modelli IA di grandi dimensioni, come i modelli di linguaggio GPT, richiedono quantità notevoli di memoria ad alte prestazioni. Man mano che l’IA entra in nuove applicazioni e settori, cresce anche la richiesta di memoria.
Questo sviluppo è parte dell’evoluzione continua della memoria ad alta larghezza di banda (HBM), che è fondamentale per supportare le esigenze di calcolo avanzate. L’industria della memoria sta assistendo a una rapida evoluzione, con SK Hynix, Micron e Samsung che lavorano al loro massimo per soddisfare la domanda di soluzioni di memoria ad alte prestazioni per l’IA.
Chi sarà alla fine in prima linea sul mercato delle memorie HBM non è chiaro e resta da vedere, ma è certo che questi sviluppi apriranno la strada a nuove possibilità in campi emergenti e in rapida crescita.
