ChatGPT sta invecchiando? Capire l’incertezza dei modelli di AI

ChatGPT ha suscitato un enorme clamore da quando è stato presentato alla fine del 2022. Con la sua straordinaria capacità di generare testi coerenti e razionali, sembrava essere un enorme passo avanti per l’intelligenza artificiale. Tuttavia, alcuni utenti hanno iniziato a notare una diminuzione delle prestazioni con il passare del tempo. Quindi, ChatGPT sta invecchiando e perdendo capacità?

L’invecchiamento dei modelli di AI è un problema noto. La maggior parte dei sistemi di intelligenza artificiale tendono a degradarsi nel tempo, poiché vengono addestrati su dataset limitati che non riflettono perfettamente il mondo reale che cambia. Da mesi ormai ci sono post sul forum Reddit OpenAI in cui si discute del fatto che le prestazioni di GPT-4 non sono più buone come prima.

ChatGPT sta invecchiando ?

Molti in rete hanno riportato che il degrado delle prestazioni sia dovuto all’ottimizzazione dei costi. Alcuni ricercatori affermano che OpenAI potrebbe utilizzare modelli più piccoli dietro l’API per ridurre i costi di gestione di ChatGPT.

Tuttavia, questa possibilità è stata successivamente smentita da Peter Welinder, vicepresidente di OpenAI. Ha detto sui social media: “Non stiamo rendendo GPT-4 più stupido. Uno dei presupposti attuali è che quando lo utilizzerai più frequentemente, inizierai a notare problemi che non avevi notato prima.“

Un documento di ricerca intitolato “Come cambia il comportamento di ChatGPT nel tempo?“, presentato dalla Stanford University e dall’Università della California, Berkeley, a luglio mostra che la stessa versione di un modello di grandi dimensioni può effettivamente cambiare radicalmente in un periodo di tempo relativamente breve.

Da marzo a giugno, i ricercatori hanno testato due versioni di GPT-3.5 e GPT-4, raccolto e valutato i risultati di generazione di quattro attività di benchmark comuni: domande matematiche, risposta a domande sensibili, generazione di codice e ragionamento visivo. I risultati mostrano che, indipendentemente dal fatto che si tratti di GPT-3.5 o GPT-4, le prestazioni e i risultati di generazione di entrambi potrebbero cambiare nel tempo.

In termini di abilità matematica, GPT-4 (marzo 2023) si comporta abbastanza bene nell’identificazione dei numeri primi e dei numeri compositi (precisione dell’84%), ma GPT-4 (giugno 2023) si comporta male sullo stesso problema (precisione del 51%). È interessante notare che GPT-3.5 ha ottenuto risultati molto migliori in questo compito a giugno rispetto a marzo.

Tuttavia, in termini di domande delicate, GPT-4 è stato meno disposto a rispondere a domande delicate a giugno rispetto a marzo; in termini di capacità di codifica, sia GPT-4 che GPT-3.5 hanno mostrato più errori a giugno che a marzo. I ricercatori ritengono che, sebbene non esista una relazione lineare evidente tra le prestazioni di ChatGPT e il tempo, la precisione può variare.

Questo non è solo un problema di ChatGPT stesso, ma anche un problema comune a tutti i precedenti modelli di intelligenza artificiale. Secondo uno studio del MIT, dell’Università di Harvard, dell’Università di Monterey e dell’Università di Cambridge del 2022, il 91% dei modelli di apprendimento automatico si degraderà nel tempo. I ricercatori chiamano questo fenomeno “invecchiamento dell’intelligenza artificiale“.

Secondo Zhang Bo, preside dell’Istituto di intelligenza artificiale dell’Università di Tsinghua, la questione del perché i modelli di grandi dimensioni producono allucinazioni coinvolge la differenza tra ChatGPT e i principi di generazione del linguaggio naturale umano. La differenza fondamentale è che il linguaggio generato da ChatGPT è guidato dall’esterno, mentre il linguaggio umano è guidato dalle proprie intenzioni, quindi la correttezza e la razionalità del contenuto di ChatGPT non possono essere garantite.

La sfida delle IA come chatGPT sarà quella di garantire l’affidabilità e l’accuratezza nel tempo.

Chi usa chatGPT e crescita di Character.ai

Gli ultimi dati statistici di Salesforce mostrano che il 67% degli utenti appartiene ai Millennials (1981-1996) o alla generazione Z (1997-2012); oltre il 68% delle persone che utilizzano raramente l’intelligenza artificiale generativa o sono in ritardo in questo senso appartengono alla generazione X (1965-1980) o quella dei baby boom (1946-1964).

La differenza generazionale mostra che la Generazione Z sta diventando il gruppo mainstream che abbraccia i modelli di IA. Kelly Eliyahu, product marketer presso Salesforce, ha dichiarato: “La generazione Z è in realtà la generazione dell’intelligenza artificiale e costituisce il gruppo dei super utenti. Il 70% della generazione Z utilizza l’intelligenza artificiale generativa e almeno la metà la utilizza ogni settimana o di più.“

Tuttavia, il feedback riportato tra le persone della Generazione Z sulle prestazioni di ChatGPT non sono eccezionali. Character.ai sembra che si stia avvicinando a ChatGPT in popolarità tra la Generazione Z, grazie alle sue caratteristiche più coinvolgenti e personalizzabili.

Character.ai è una piattaforma di intelligenza artificiale conversazionale che permette agli utenti di creare e personalizzare il proprio “compagno AI”.

• Gli utenti possono scegliere un avatar, nome e personalità per il loro AI companion. Si può creare un personaggio completamente nuovo oppure basato su personaggi famosi reali o fittizi.
• È possibile addestrare il proprio AI companion attraverso conversazioni, fornendogli informazioni sulla sua biografia, interessi, valori, ecc. Più si interagisce con esso, più il suo comportamento si adegua.
• Oltre a parlare in chat 1-a-1, i companion AI possono essere aggiunti a chat di gruppo con altri utenti reali e virtuali. Ciò permette interazioni sociali più complesse.
• L’interfaccia è pensata per rendere il companion AI il più realistico possibile. Ad esempio, può inviare immagini e audio.
• I companion creati dagli utenti possono essere condivisi e utilizzati pubblicamente all’interno della piattaforma.

Le applicazioni iOS e Android di Character.ai contano attualmente 4,2 milioni di utenti attivi mensili negli Stati Uniti, cifra che si avvicina sempre di più ai 6 milioni di utenti attivi mensili di ChatGPT mobile.

A differenza dell’intelligenza artificiale conversazionale e testuale di ChatGPT, Character.AI aggiunge su questa base due funzioni principali di personalizzazione e UGC, offrendo scenari di utilizzo più ricchi rispetto alla prima. “UGC” è l’acronimo di “User-Generated Content,” che significa “Contenuti generati dagli utenti.” Si riferisce a qualsiasi contenuto, come testi, immagini, video o recensioni, che gli utenti creano e condividono online.

Da un lato, gli utenti possono personalizzare i ruoli dell’IA in base alle esigenze personali e allo stesso tempo, i personaggi IA creati da questi utenti possono essere utilizzati anche da tutti gli utenti della piattaforma per creare un’atmosfera di comunità. Ad esempio, personaggi virtuali come Socrate e Dante sono già stati diffusi su piattaforme di social media.

Forse a causa delle pressioni di Character.AI, OpenAI ha rilasciato un breve comunicato sul suo sito ufficiale il 16 agosto 2023, annunciando l’acquisizione della start-up americana Global Illumination. Questa piccola azienda è principalmente impegnata nell’utilizzo dell’intelligenza artificiale per creare strumenti intelligenti, infrastrutture digitali ed esperienze digitali. Dietro questa acquisizione, è probabile che OpenAI si impegnerà a migliorare in modo più ricco l’attuale esperienza di chatGPT.

Conclusione

In definitiva, l’incertezza sul comportamento dei grandi modelli linguistici come chatGPT rappresenta una sfida per gli sviluppatori, sarà importante continuare a monitorare e migliorare l’accuratezza e l’affidabilità di questi sistemi nel tempo, capire meglio i meccanismi dietro la loro degradazione in modo da sviluppare modelli AI ancora più robusti e utili per il mondo reale.