Primate Labs, l’azienda dietro il popolare benchmark Geekbench, ha lanciato Geekbench AI 1.0. Un nuovo strumento per misurare le prestazioni dei dispositivi nell’esecuzione di carichi di lavoro legati all’intelligenza artificiale. Questo nuovo benchmark è progettato per valutare le capacità di CPU, GPU e NPU su diverse piattaforme . Offre una panoramica completa delle prestazioni IA su smartphone, tablet e computer.
Geekbench AI 1.0 rappresenta un’evoluzione rispetto al precedente Geekbench ML, con un focus specifico sulle applicazioni di machine learning e deep learning. Il nuovo benchmark è disponibile gratuitamente per Android, iOS, Windows, macOS e Linux; con una versione Pro a pagamento che offre funzionalità aggiuntive per professionisti e aziende.
Caratteristiche principali di Geekbench AI 1.0
Geekbench AI 1.0 si distingue per la sua capacità di eseguire test identici su diverse piattaforme hardware e sistemi operativi. Il benchmark include dieci carichi di lavoro IA; ciascuno eseguito con tre diversi tipi di dati: single precision, half precision e quantized. Questa varietà permette di ottenere un quadro multidimensionale delle prestazioni AI on-device.
I test utilizzano dataset di grandi dimensioni che simulano casi d’uso reali dell’IA. Consente la misurazione delle prestazioni in pochi minuti. Il benchmark supporta i principali framework AI come TensorFlow Lite, ONNX, OpenVINO, CoreML e QNN; così gli sviluppatori possono determinare la migliore combinazione di framework e modelli per specifici carichi di lavoro. Geekbench AI 1.0 è progettato per funzionare su un’ampia gamma di hardware; dagli smartphone con NPU a basso consumo energetico fino alle workstation dedicate con elevata potenza di calcolo IA.
Piattaforme supportate e requisiti di sistema
Geekbench AI 1.0 è disponibile per le principali piattaforme desktop e mobile. Su Android, richiede la versione 12 o successiva del sistema operativo e supporta il framework TensorFlow Lite. Per iOS, è necessario iOS 17 o versioni successive, con supporto per CoreML. Su Linux, il benchmark funziona su Ubuntu 22.04 LTS o versioni più recenti, supportando TensorFlow Lite, ONNX e OpenVINO. Per macOS, è richiesto macOS 14 o successivo, con supporto per CoreML sia su processori Apple Silicon che Intel.
Infine, su Windows, Geekbench AI 1.0 è compatibile con Windows 10 o versioni più recenti, supportando ONNX e OpenVINO. I requisiti hardware variano a seconda della piattaforma. Generalmente sono necessari almeno 4 GB di RAM, con 8 GB raccomandati per Windows e macOS. Il benchmark supporta processori AMD, Intel e ARM su diverse piattaforme.
Geekbench AI 1.0: metodologia di test e punteggi
Geekbench AI 1.0 utilizza un approccio standardizzato per la valutazione delle prestazioni IA. I risultati vengono calibrati rispetto a un sistema di riferimento, un Lenovo ThinkStation P340 con processore Intel Core i7-10700. I punteggi ottenuti vengono normalizzati rispetto a questo sistema base, con un punteggio di 1.500 punti che indica prestazioni equivalenti.
Il benchmark fornisce tre tipi di punteggi: Single Precision, Half Precision e Quantized. Ogni punteggio rappresenta la media geometrica dei risultati ottenuti nei singoli carichi di lavoro. Questo approccio permette un confronto equo tra dispositivi con architetture hardware diverse. La metodologia di test è stata sviluppata in collaborazione con partner del settore e la comunità di ingegneri IA. In questo modo garantisce che i carichi di lavoro riflettano scenari d’uso reali e attuali.
Carichi di lavoro e framework supportati da Geekbench AI 1.0
Geekbench AI 1.0 include una serie di carichi di lavoro che coprono diverse aree dell’intelligenza artificiale, con particolare attenzione alla computer vision e al natural language processing. Questi test sono progettati per simulare applicazioni IA del mondo reale, come il riconoscimento di immagini, la segmentazione semantica, la classificazione del testo e la generazione di linguaggio naturale.
Il benchmark supporta vari framework IA specifici per piattaforma, come TensorFlow Lite su Android, CoreML su iOS e macOS, e ONNX e OpenVINO su Windows e Linux. Questa varietà di framework permette di valutare le prestazioni IA in modo completo, tenendo conto delle ottimizzazioni specifiche per ciascuna piattaforma. I carichi di lavoro sono eseguiti utilizzando reti neurali ottimizzate per ciascun framework, garantendo risultati rappresentativi delle prestazioni reali delle applicazioni IA.
Versioni disponibili e licenze
Geekbench AI 1.0 è disponibile in due versioni principali: una versione gratuita e una versione Pro a pagamento.
La versione gratuita offre tutte le funzionalità di base per eseguire i test e confrontare i risultati online tramite il Geekbench Browser. La versione Pro, al prezzo di 99 dollari, include funzionalità aggiuntive come strumenti per l’automazione dei test, una modalità offline e una licenza per uso commerciale con supporto email di base. Per le aziende e le organizzazioni, sono disponibili licenze Site e Source che offrono supporto dedicato, aggiornamenti e accesso al codice sorgente.
Queste opzioni di licenza flessibili rendono Geekbench AI 1.0 adatto sia per uso personale che professionale.
Geekbench AI 1.0: conclusioni
Il benchmark offre la possibilità di valutare le prestazioni di diverse configurazioni hardware e software, aiutando a ottimizzare le applicazioni IA per specifiche piattaforme. I risultati possono guidare decisioni su quali framework e modelli utilizzare per ottenere le migliori prestazioni su diversi dispositivi.
La natura cross-platform di Geekbench AI 1.0 e l’attenzione ai carichi di lavoro realistici lo rendono uno strumento prezioso per sviluppatori, produttori di hardware e consumatori interessati alle capacità IA dei loro dispositivi.
A differenza di benchmark focalizzati su specifiche operazioni matematiche, Geekbench AI simula applicazioni IA del mondo reale. Questo approccio offre risultati più rappresentativi delle prestazioni effettive che si possono ottenere nelle applicazioni quotidiane.
Il benchmark arriva in un momento in cui l’intelligenza artificiale sta diventando sempre più integrata nei dispositivi di uso quotidiano; offre un modo per quantificare e confrontare le prestazioni AI in modo oggettivo. Tuttavia, le prestazioni IA sono solo un aspetto delle capacità di un sistema, e altri fattori come l’efficienza energetica, le prestazioni generali e la qualità del software rimangono cruciali nella valutazione complessiva di un dispositivo.
