Mistral AI e NVIDIA hanno presentato Mistral NeMo 12B, un innovativo modello linguistico IA progettato per applicazioni aziendali (e non solo) ad alte prestazioni. Questa collaborazione unisce l’esperienza di Mistral AI nei dati di addestramento con l’ecosistema hardware e software ottimizzato di NVIDIA. Il risultato è un modello che stabilisce nuovi standard in termini di prestazioni ed efficienza.
Mistral AI è la nota azienda francese attiva nel campo dell’intelligenza artificiale. Fondata nell’aprile 2023 da ex dipendenti di Meta Platforms e Google DeepMind, si è rapidamente affermata come un attore di rilievo nel settore; è specializzata nella produzione di modelli linguistici di grandi dimensioni open source tra cui Mistral Large e Mixtral 8x 7B.
Con un approccio che enfatizza l’importanza del software libero e aperto, Mistral AI si propone come un’alternativa ai modelli proprietari, mirando a “democratizzare” l’IA. La sua rapida ascesa è testimoniata da significativi round di finanziamento; la sua valutazione supera i 2 miliardi di dollari in meno di un anno dalla fondazione. L’azienda offre una gamma di modelli, sia open source che commerciali. Ha stretto partnership strategiche, come quella con Microsoft; ora la collaborazione con Nvidia.
Caratteristiche principali di Mistral NeMo 12B
Innanzitutto Mistral NeMo è un modelllo IA (LLM) di medie dimensioni; è già disponibile per chiunque sulle prinicipali piattaforme IA come su Hugging Face e Kaggle. Puoi già testarlo anche su alcuni software per la gestione di modelli LLM come LM Studio.
E’ un modello che può essere eseguito in locale; quindi su un qualsiasi PC o laptop con sufficienti requisiti di RAM e GPU. Surclassa i recenti modelli simili per esecuzione in locale come Gemma2 9B and Llama3 8B; è rilasciato con licenza Apache 2.0.
Questa licenza open source, ampiamente utilizzata nel settore del software, offre diversi vantaggi importanti. Innanzitutto, permette a chiunque di utilizzare, modificare e distribuire il software liberamente, sia per scopi commerciali che non commerciali.
Ciò favorisce l’adozione diffusa del modello e incoraggia la collaborazione all’interno della comunità di sviluppatori e ricercatori. Un vantaggio chiave della licenza Apache 2.0 è che consente alle aziende di integrare il modello nelle proprie applicazioni commerciali senza restrizioni significative. Questo aspetto è particolarmente rilevante per un modello di linguaggio avanzato come Mistral NeMo 12B. Permette alle imprese di sfruttarne le capacità per sviluppare prodotti e servizi innovativi senza preoccupazioni legali.
NeMo 12B: altre caratteristiche importanti
Mistral NeMo 12B si distingue per la sua capacità di elaborare finestre di contesto fino a 128.000 token; ciò garantisce una migliore accuratezza in compiti di ragionamento, conoscenza generale e coding. Il modello eccelle nelle chat conversazionali, matematica, ragionamento di senso comune e conoscenza del mondo. La sua architettura standard ne facilita l’integrazione; può sostituire direttamente i sistemi che utilizzano attualmente il modello Mistral 7B.
L’addestramento è avvenuto sulla piattaforma NVIDIA DGX Cloud AI, sfruttando l’architettura NVIDIA più recente. Sono stati impiegati anche NVIDIA TensorRT-LLM per accelerare le prestazioni di inferenza e la piattaforma NVIDIA NeMo per lo sviluppo di modelli IA generativi personalizzati. Questa sinergia ha permesso di creare un modello con precisione, flessibilità ed efficienza senza precedenti.
Mistral NeMo 12B utilizza il formato dati FP8 per l’inferenza del modello; ciò riduce le dimensioni della memoria e accelera la distribuzione senza compromettere l’accuratezza. Queste caratteristiche lo rendono ideale per applicazioni in tempo reale e per l’implementazione su hardware con risorse limitate.
Supporto multilingue e tokenizzatore avanzato
Il modello è progettato per applicazioni globali e multilingue. È particolarmente efficace in inglese, francese, tedesco, spagnolo, italiano, portoghese, cinese, giapponese, coreano, arabo e hindi. Questa capacità multilingue rappresenta un passo avanti significativo verso la democratizzazione dei modelli IA, rendendoli accessibili in molte lingue.
Mistral NeMo utilizza un nuovo tokenizzatore chiamato Tekken, basato su Tiktoken. Questo tokenizzatore è stato addestrato su oltre 100 lingue; comprime il testo in linguaggio naturale e il codice sorgente in modo più efficiente rispetto al tokenizzatore SentencePiece utilizzato nei precedenti modelli Mistral. In particolare, è circa il 30% più efficiente nella compressione del codice sorgente del cinese, dell’italiano, del francese, del tedesco, dello spagnolo e del russo. È anche 2 volte e 3 volte più efficiente nella compressione del coreano e dell’arabo, rispettivamente.
Rispetto al tokenizzatore di Llama 3, Tekken si è dimostrato più efficiente nella compressione del testo per circa l’85% di tutte le lingue. Questa maggiore efficienza nella tokenizzazione contribuisce alle prestazioni complessive del modello; consente un’elaborazione più rapida e accurata del testo in diverse lingue.
NeMo 12B: prestazioni e confronti
Le prestazioni di Mistral NeMo 12B sono state confrontate con altri modelli open-source recenti, come Gemma 2 9B e Llama 3 8B. I risultati mostrano che Mistral NeMo supera questi modelli in vari benchmark; dimostra superiorità in termini di accuratezza e capacità di elaborazione.
Ad esempio, in test come HellaSwag (0-shot), Winogrande (0-shot), TriviaQA (5-shot) e MMLU (5-shot), Mistral NeMo 12B ha ottenuto punteggi significativamente più alti rispetto ai suoi concorrenti. Questi risultati evidenziano la capacità del modello di comprendere e generare contenuti complessi in vari domini, dal ragionamento al question-answering.
Il modello ha subito anche una fase avanzata di fine-tuning e allineamento. Rispetto a Mistral 7B, è molto migliore nel seguire istruzioni precise, nel ragionamento, nella gestione di conversazioni multi-turno e nella generazione di codice. Queste capacità lo rendono particolarmente adatto per applicazioni aziendali che richiedono un’elevata precisione e versatilità.
Implementazione e disponibilità
Mistral NeMo 12B è stato rilasciato con licenza Apache 2.0, che favorisce l’innovazione e supporta la comunità IA più ampia. Questa licenza aperta consente alle aziende di integrare Mistral NeMo nelle applicazioni commerciali senza problemi. Il modello è disponibile sia nella versione base che in quella istruita, con i pesi ospitati su HuggingFace.
Nel campo dei chatbot e dell’assistenza clienti, Mistral NeMo 12B può fornire risposte più accurate e contestualmente rilevanti, migliorando significativamente l’esperienza dell’assistenza automatizzata. La sua capacità di gestire conversazioni multi-turno lo rende particolarmente adatto per interazioni complesse e prolungate.
Nel campo della programmazione e dello sviluppo software, le capacità di coding di Mistral NeMo 12B possono accelerare il processo di sviluppo, fornendo assistenza nella scrittura di codice, nel debugging e nell’ottimizzazione. Questo può portare a un aumento della produttività e della qualità del software prodotto.
Il modello è progettato per adattarsi alla memoria di una singola NVIDIA GeForce RTX 4090, GPU NVIDIA L40S o NVIDIA RTX 4500. Questa caratteristica offre alta efficienza, basso costo di calcolo e maggiore sicurezza e privacy (esecuzione in locale).
Mistral NeMo 12B: conclusioni e considerazioni
La collaborazione tra Mistral AI e NVIDIA ha prodotto un modello che combina prestazioni elevate, versatilità e efficienza in un pacchetto accessibile e facile da implementare.
Le sue capacità multilingue, l’ampia finestra di contesto e l’efficienza computazionale lo rendono adatto a una vasta gamma di applicazioni, dal servizio clienti allo sviluppo software. La licenza open-source e la facilità di integrazione lo rendono particolarmente attraente per le aziende che cercano di implementare soluzioni IA avanzate a basso costo.
