Honor Magic6 avrà un assistente potenziato da una LLM on device

L’uso dell’intelligenza artificiale è sempre più diffusa, e sarà sempre più presente anche nei prossimi smartphone. Durante lo Snapdragon Summit 2023 che si conclude oggi, Honor ha annunciato che la prossima serie di Smartphone Honor Magic6 sarà alimentata dallo Snapdragon 8 Gen 3 e avrà un assistente potenziato da una LLM on device.

I modelli LLM di intelligenza artificiale generativa saranno integrati nel suo assistente personale YOYO. Il grande modello linguistico di Honor ha 7 miliardi di parametri ed essendo on-device, non avrà bisogno di inviare alcun dato personale da remoto per lavorare e quindi sarà disponibile anche se si è off-line ovvero disconnessi da internet.

Quindi potrai chiedere all’assistente personale YOYO di rispondere a domande in un modo simile a chatGPT ma anche chiedere di eseguire alcune operazioni sul tuo dispositivo.

Per esempio , come è stato dimostrato al Summit e pubblicato su Youtube (video sotto), puoi chiedere (con la voce o con il testo) all’assistente di creare un video utilizzando alcuni video all’interno del tuo smartphone. Probabilmente sarà possibile impostare la sveglia, accedere al gps , chiedere di aprire il navigatore ed altre operazioni parlando all’assistente in modo completamente naturale.

Le richieste saranno elaborate sul dispositivo senza richieste ad un server remoto (come avviene con chatGPT). Grazie alla potenzialità del SoC Snapdragon 8 Gen 3 del Honor Magic6 e all’utilizzo di un modello di piccole dimensioni (se comparato con chatGPT 4), l’assistente dovrebbe essere molto reattivo.

Per sviluppare un LLM on device che possa essere utilizzato a vantaggio dei consumatori di tutti i giorni, HONOR e Qualcomm Technologies hanno collaborato concentrandosi su tre aree chiave: prestazioni, efficienza e privacy dell’utente. Gli sforzi congiunti hanno portato a ottimizzazioni che consentono alla piattaforma mobile di sfruttare efficacemente l’LLM senza consumare una quantità eccezionale di energia, nonché garantire la protezione dei dati.

“Da parte di HONOR, siamo impegnati a spingere i confini dell’innovazione e a creare un’esperienza utente più intelligente e intuitiva“, ha dichiarato George Zhao, CEO di HONOR Device Co. Ltd. “Siamo impegnati a sfruttare il potere dell’IA per trasformare il modo in cui le persone interagiscono con la tecnologia, rendendolo più fluido, personalizzato ed impattante nelle loro vite, senza compromettere la privacy dell’utente. Siamo entusiasti di collaborare con Qualcomm Technologies. Continueremo a guidare l’innovazione, lavorando con partner in collaborazione aperta per plasmare un futuro in cui l’IA possa potenziare e arricchire la vita delle persone in tutto il mondo.“

“Siamo entusiasti di lavorare con HONOR per spingere avanti le tecnologie di punta“, ha commentato Alex Katouzian, Vice Presidente Senior e Direttore Generale dei Dispositivi Mobili, Calcolatrici e Dispositivi XR di Qualcomm Technologies, Inc.

“Non vediamo l’ora di lavorare più strettamente con HONOR per rivoluzionare il modo in cui le persone vivono, lavorano e si connettono, creando esperienze trasformative che apriranno nuove possibilità in un mondo in costante evoluzione dell’IA.”

Vantaggi e svantaggi di una LLM on device

I vantaggi di avere una LLM on device sono

• Maggiore privacy e sicurezza, i dati dell’utente non devono attraversare la rete.
• Disponibilità anche senza connessione Internet, il sistema può funzionare offline.
• Tempi di risposta immediati poiché non ci sono latenze di rete.
• Personalizzazione: l’assistente potrebbe essere addestrato e ottimizzato specificamente per le richieste dell’utente.

Gli svantaggi di avere una LLM on device sono

• E’ richiesto un processore potente e con capacità di calcolo IA , lo Snapdragon 8 Gen 3 sembra che abbia queste caratteristiche. Questo significa avere l’IA solo negli smartphone di fascia molto alta.
• Occupazione di spazio e memoria sul dispositivo. I 7 miliardi di parametri occuperanno alcuni GB sul dispositivo
• Eventuali aggiornamenti della LLM sarebbero complessi da implementare remotamente , considerando le dimensioni della LLM. In futuro con connessioni sempre più veloci e unità di storage sempre più veloci (UFS 4 o meglio) potrebbe essere un problema minore.
• Una LLM di soli 7 miliardi di parametri significa conoscenze e capacità linguistiche più limitate. Conversazioni meno naturali, fluidità e comprensione del contesto ridotte.

Bisognerà vedere nell’uso quotidiano, come sono state pensate e progettate queste LLM ridotte per un uso “on device”. Naturalmente questi sono i primi tentativi di portare l’IA su un dispositivo mobile, quindi non tutto funzionerà alla perfezione, ma probabilmente il risultato sarà migliore degli attuali assistenti che abbiamo sugli smartphone.

Honor Magic6 Magic Capsule

Honor al Summit ha anche anticipato una funzionalità chiamata Magic Capsule, sarà possibile selezionare alcune funzionalità situate in una sorta di Dynamic Island di Apple sull’iPhone, semplicemente fissandole con gli occhi !

Honor Magic6 Magic Ring

Honor ha presentato anche la una funzionalità chiamata Magic Ring che si troverà in Honor Magic6.

Honor afferma che questa nuova tecnologia è più stabile e più efficiente dal punto di vista energetico che mai. MagicRing si basa fondamentalmente sulla tecnologia Snapdragon Seamless introdotta da Qualcomm e permette lo scambio di una varietà di dati tra dispositivi nel modo più semplice possibile. Snapdragon Seamless definisce uno standard aperto per agevolare l’uso concomitante e la comunicazione sicura tra dispositivi, offrendo un’esperienza fluida tra device e sistemi operativi.

Conclusione

I primi ad introdurre LLM su smartphone sono stati Xiaomi, con il suo Xiao AI da 1,3 miliardi di parametri e Huawei. Anche OPPO ha annunciato il rilascio del suo modello Anthropic da 7 miliardi entro fine anno e ora anche Honor . Nel frattempo aziende come Qualcomm e MediaTek stanno aggiornando le proprie soluzioni SoC per smartphone con unità NPU, APU e capacità di calcolo IA sempre maggiori, in grado di supportare ed eseguire modelli da miliardi di parametri.

La sfida della IA con modelli LLM su smartphone è appena iniziata. Nei prossimi mesi vedremo l’emergere di una nuova generazione di dispositivi in grado di sfruttare appieno queste potenzialità. Il settore dei dispositivi mobili sta per vivere una nuova rivoluzione guidata dall’ IA.