Mistral AI, il rivale europeo di OpenAI, annuncia un nuovo LLM open source, Mixtral 8x7B

Mistral AI, la startup con sede a Parigi di cui abbiamo parlato in questo articolo, il 4 Dicembre scorso ha chiuso un round di finanziamento da $415 milioni. Questo successo segna un momento importante per l’azienda e per l’intero settore dell’intelligenza artificiale in Europa.

Mistral AI continua la sua missione di fornire i migliori modelli aperti (open source) alla comunità degli sviluppatori. Mistral crede che per progredire nel campo dell’intelligenza artificiale è necessario intraprendere nuove svolte tecnologiche che vadano oltre il riutilizzo di architetture e paradigmi di formazione ben noti. Inoltre Mistral crede che sia importante e necessario che la comunità tragga vantaggio dai modelli LLM per promuovere nuove invenzioni e usi.

Fondata da ex leader di Google’s DeepMind e Meta, la startup si concentra sulla tecnologia open-source per strumenti di intelligenza artificiale generativa, sviluppo di chatbot e funzionalità personalizzabili.

Mistral AI vale 2 miliardi di dollari

Il recente round di finanziamento è stato guidato da Andreessen Horowitz e Lightspeed Venture Partners, che hanno già investito nella società. Tra gli altri investitori ci sono Salesforce, BNP Paribas, CMA-CGM, General Catalyst, Elad Gil e Conviction. Questo round di finanziamento segue un round di seed di $112 milioni meno di sei mesi fa. Con l’ultimo round, la valutazione dell’azienda è salita a circa $2 miliardi.

Modello Mixtral 8x7B

Oggi Mistral AI ha annunciato la pubblicazione open source di Mixtral 8x7B, un nuovo modello misto (da qui il nome Mixtral) di esperti (Sparse Mixture-of-Experts) con 45 miliardi di parametri totali. Mixtral riesce a gestire un contesto di input di 32.000 token e supporta inglese, francese, italiano, tedesco e spagnolo.

Il modello utilizza una tecnica che seleziona solamente una frazione dei parametri totali per ogni token di input, mantenendo prestazioni e tempi di inferenza paragonabili a un modello da 12 miliardi di parametri. Mixtral ottiene risultati superiori a Llama 2 70B su molte metriche ed eguaglia o supera GPT-3.5. Il modello è rilasciato con licenza Apache 2.0.

È il modello open-weight più forte con una licenza permissiva ed è attualmente il miglior modello in assoluto per quanto riguarda il compromesso costi/prestazioni.

Quando si afferma che il modello ha “open weights”, significa che gli sviluppatori hanno la possibilità di accedere, visualizzare e, potenzialmente, modificare i pesi del modello. Questa trasparenza può essere utile per adattare il modello alle esigenze specifiche o per comprendere meglio come le varie parti del modello contribuiscano al risultato finale.

Nei modelli di intelligenza artificiale (IA), i “pesi” si riferiscono ai parametri che vengono appresi durante la fase di addestramento del modello. In termini più tecnici, sono coefficienti numerici assegnati ai vari input del modello durante la fase di addestramento che determinano l’importanza di ciascun input per il risultato finale.

La plateforme di Mistral AI

Mistral AI ha reso anche disponibili in early access i propri endpoint API sul cloud. Gli endpoint mistral-tiny, mistral-small e mistral-medium che permettono di interrogare rispettivamente i modelli Mistral 7B, Mixtral 8x7B e un nuovo prototipo da 8,6 su MT-Bench.

Gli endpoint utilizzano versioni dei modelli ottimizzate per il following di istruzioni tramite tecniche di fine-tuning e preference optimization. L’API è compatibile con quella di OpenAI e include librerie client Python e JavaScript.

Mistral-tiny supporta Mistral 7B Instruct v0.2, una nuova versione minore di Mistral 7B Instruct. Funziona solo in inglese e ottiene 7,6 su MT-Bench. Il modello istruito può essere scaricato qui .

Mistral-small serve il modello più recente, Mixtral 8x7B e padroneggia inglese, francese, italiano, tedesco, spagnolo e codice. Ottiene 8,3 su MT-Bench.

Mistral-medium è un endpoint di altissima qualità che attualmente serve un modello prototipo. Padroneggia inglese, francese, italiano, tedesco, spagnolo e programmazione. Ottiene un punteggio di 8,6 su MT-Bench.

La tabella seguente confronta le prestazioni dei modelli base Mistral-medium, Mistral-small e l’endpoint di GPT 3.5.

Mistral AI: prospettive future

Mistral AI si distingue per il suo forte orientamento alla ricerca e per la sua capacità di creare modelli di intelligenza artificiale efficienti dal punto di vista computazionale, utili e potenti. L’azienda rilascia molti dei suoi modelli e strumenti di distribuzione sotto licenze permissive, credendo fermamente nella scienza aperta, nella comunità e nel software libero. Questo approccio ha permesso a Mistral AI di sviluppare il modello Mistral-7B-v0.1, un modello piccolo ma potente, adattabile a molti casi d’uso.

Come provare il nuovo modello Mixtral 8x7B

Se hai un computer con almeno 32 GB RAM, se vuoi puoi provare la LLM Mixtral 8x7B utilizzando LM studio di cui abbiamo già parlato in questo articolo.

LM Studio è un programma open source e gratuito ospitato su GitHub, progettato per semplificare l’installazione e l’uso di modelli di lingua locali su computer personali anziché su server di terze parti.

LM Studio è disponibile per Windows e Mac. Una delle principali caratteristiche di LM Studio è la sua interfaccia utente intuitiva, che rende facile gestire una varietà di diversi modelli IA in base alle tue esigenze, il tutto da un’unica interfaccia.

Puoi trovare e scaricare il modello Mixtral 8x7B su huggingface . Anche perplexity.ai stà già sperimentando Mixtral 8x7B e potrebbe aggiungerlo ai suoi modelli a breve. E’ già disponibile in Poe.