Durante la conferenza per sviluppatori Microsoft Build 2024, Microsoft dopo Phi-3-vision ha annunciato un’altra aggiunta alla sua famiglia di modelli di linguaggio compatti Phi-3: Phi-Silica.
Questo modello di AI compatto è stato progettato su misura per le unità di elaborazione neurale (NPU) presenti nei prossimi PC Copilot+, i nuovi computer con Windows ottimizzati per l’intelligenza artificiale.
Phi-Silica, modello IA efficiente e potente
Phi-Silica è il più piccolo della famiglia di modelli Phi, con soli 3,3 miliardi di parametri. Nonostante le dimensioni ridotte, Microsoft afferma che questo SLM (small language model) è in grado di offrire prestazioni notevoli in termini di velocità e ridotto consumo energetico.
Secondo l’azienda, Phi-Silica raggiunge una latenza del primo token di 650 token al secondo, consumando solo circa 1,5 watt di potenza. Questo permette di liberare la CPU e la GPU del PC per altre attività di calcolo. Inoltre, la generazione di token di Phi-Silica riutilizza la cache KV della NPU e viene eseguita sulla CPU, producendo circa 27 token al secondo.
Ottimizzato per i PC Copilot+
Phi-Silica sarà integrato in tutti i PC Copilot+ quando saranno messi in vendita a partire da giugno. Questi computer saranno dotati di potenti chip dedicati per l’elaborazione neurale, progettati specificamente per eseguire applicazioni di IA come Copilot e Phi-Silica.
Un portavoce di Microsoft ha dichiarato a VentureBeat che ciò che distingue Phi-Silica è “la sua caratteristica di essere il primo modello di linguaggio distribuito localmente di Windows. È ottimizzato per funzionare sulla NPU dei PC Copilot+, portando un’inferenza locale velocissima sul dispositivo. Questo traguardo segna un momento cruciale nel portare l’IA avanzata direttamente agli sviluppatori di terze parti ottimizzata per Windows, per iniziare a costruire incredibili esperienze di prima e terza parte che, questo autunno, arriveranno agli utenti finali, elevando la produttività e l’accessibilità all’interno dell’ecosistema Windows“.
La famiglia Phi-3
Phi-Silica è la quinta variante del modello Phi-3 di Microsoft, che comprende anche:
- Phi-3-vision è un modello multimodale con 4.2 miliardi di parametri con capacità di linguaggio e visione.
- Phi-3-mini è un modello di linguaggio con 3.8 miliardi di parametri, disponibile in due lunghezze di contesto ( 128K e 4K ).
- Phi-3-small è un modello di linguaggio con 7 miliardi di parametri, disponibile in due lunghezze di contesto ( 128K e 8K ).
- Phi-3-medium è un modello di linguaggio 14 miliardi di parametri, disponibile in due lunghezze di contesto ( 128K e 4K ).
Microsoft afferma che “i modelli Phi-3 superano significativamente i modelli di linguaggio delle stesse dimensioni e più grandi su benchmark chiave… Phi-3-mini funziona meglio dei modelli di dimensioni doppie e Phi-3-small e Phi-3-medium superano modelli molto più grandi, incluso GPT-3.5T“.
Trovi tutti i modelli Phi-3 sia su Azure AI che su Hugging Face, ad eccezione del modello Phi-Silica che sarà integrato specificamente nei PC Copilot+. Sembra quindi che Phi-Silica rimarrà un modello proprietario ottimizzato e integrato specificamente per l’hardware e il software dei nuovi PC Copilot+ di Microsoft.
Disponibilità e specifiche hardware
I primi PC Copilot+ dovrebbero essere spediti a metà giugno e saranno dotati dei chip Snapdragon X Elite e Plus di Qualcomm basati su architettura Arm. Microsoft e molti altri importanti produttori di PC offriranno questo tipo di portatili quest’estate. Anche Intel prevede di offrire il proprio processore per PC Copilot+, con il nome in codice Lunar Lake, nel terzo trimestre del 2024.
Phi-Silica: conclusioni
Questo modello di linguaggio compatto, ottimizzato per le NPU dei PC Copilot+, offre un’inferenza locale veloce e a basso consumo, porta le capacità dell’IA avanzata direttamente sui computer degli utenti finali.
Con l’accesso alle API di Phi-Silica tramite il Windows Copilot Library SDK, gli sviluppatori saranno in grado di creare app basate sull’IA che miglioreranno la produttività e l’accessibilità all’interno dell’ecosistema Windows. Questo apre la strada a una nuova generazione di applicazioni intelligenti che sfrutteranno appieno le capacità dei PC Copilot+.
