Un team di ricercatori dell’Università di Chicago (Booth School of Business) ha recentemente condotto uno studio per valutare le capacità di GPT-4, il modello di linguaggio di OpenAI, nell’ambito dell’analisi finanziaria. Lo studio si è concentrato sulla capacità di GPT-4 di esaminare i bilanci aziendali e prevedere l’andamento degli utili futuri confrontando le sue prestazioni con quelle degli analisti finanziari umani.
I risultati sono sorprendenti ! GPT-4 si è dimostrato in grado di generare previsioni più accurate rispetto agli analisti; pur basandosi esclusivamente sui dati numerici contenuti nei bilanci, senza accesso ad alcuna informazione testuale o di contesto.
Analisti finanziari vs GPT-4: metodologia
Per testare le capacità di GPT-4, i ricercatori hanno fornito al modello i bilanci standardizzati e anonimizzati di un ampio campione di aziende, coprendo un arco temporale dal 1968 al 2021. Sono stati omessi tutti i riferimenti che potessero permettere di identificare le singole società, come nomi o date.
GPT-4 è stato quindi istruito, attraverso prompt dettagliati, ad analizzare i dati di stato patrimoniale e conto economico e a prevedere se gli utili dell’esercizio successivo sarebbero aumentati o diminuiti. Il modello ha prodotto sia la previsione binaria (aumento/diminuzione), sia una stima dell’entità della variazione attesa e un punteggio di confidenza.
Le previsioni di GPT-4 sono state confrontate con quelle degli analisti finanziari umani per le stesse società e gli stessi periodi. Per un test di confronto sono stati utilizzati anche modelli di machine learning specializzati, tra cui regressioni logistiche e reti neurali artificiali addestrate sullo stesso set di variabili finanziarie.
Analisti finanziari vs GPT-4: risultati
I risultati hanno evidenziato la sorprendente abilità di GPT-4 nel prevedere l’andamento degli utili futuri. Il modello ha ottenuto un’accuratezza del 60,3% nelle previsioni, superando il 52,7% degli analisti umani basandosi sulle loro stime emesse un mese dopo la pubblicazione dei bilanci.
GPT-4 si è dimostrato particolarmente abile nell’analizzare anche società di dimensioni minori o in perdita. In questi contesti, tipicamente gli analisti umani tendono a incontrare maggiori difficoltà. Inoltre, le previsioni di GPT-4 e degli analisti si sono rivelate complementari: combinandole si ottiene un valore informativo superiore rispetto ai singoli set di stime.
Confrontando GPT-4 con i modelli di machine learning specializzati, il linguaggio ha ottenuto risultati paragonabili o leggermente superiori, pur non essendo stato specificamente addestrato per l’analisi finanziaria.
Questo suggerisce che la vasta conoscenza del modello GPT-4 gli permette di estendere le sua capacità al di là del suo ambito nativo di applicazione. Riesce a processare ed interpretare anche informazioni numeriche complesse, come quelle contenute nei bilanci aziendali.
Capacità predittiva di GPT-4
I ricercatori hanno approfondito le potenziali fonti della sorprendente abilità di GPT-4 nell’analizzare i bilanci e prevedere gli utili. Una prima ipotesi è che il modello attinga semplicemente alla sua “memoria” derivante dall’addestramento, riconoscendo le singole aziende pur dai dati anonimizzati.
Tuttavia, una serie di esperimenti ha permesso di escludere questa possibilità. GPT-4 non è stato in grado di indovinare correttamente i nomi delle società; nemmeno gli anni di riferimento dei bilanci con un’accuratezza superiore a quella di una scelta casuale. Inoltre, il modello ha mantenuto performance elevate anche su dati del tutto esterni al suo periodo di addestramento.
Quindi, l’analisi suggerisce che GPT-4 sia in grado di ricavare spunti rilevanti dall’esame dei trend e degli indici finanziari. Poi questi dati gli combina con la sua vasta conoscenza teorica e capacità di ragionamento economico. Le spiegazioni testuali generate dal modello per giustificare le sue previsioni si sono dimostrate di per sé altamente informative.
Trading e l’asset pricing
Lo studio ha esplorato anche le potenziali applicazioni pratiche delle previsioni di GPT-4, simulando strategie di trading basate sui segnali forniti dal modello. Costruendo portafogli che assumono posizioni long (o short) sulle azioni delle società quando GPT-4 prevede un aumento (o diminuzione) degli utili, si ottengono rendimenti significativi.
Le strategie basate su GPT-4 generano rendimenti per il rischio (Sharpe ratio) e extra-rendimenti (alfa) sensibilmente superiori rispetto a quelle basate su modelli di machine learning tradizionali. In particolare, GPT-4 sembra avere un vantaggio nell’individuare opportunità tra le società a bassa capitalizzazione, in linea con la sua abilità di analisi in contesti più sfidanti e difficili per gli analisti umani.
Questi risultati suggeriscono che le previsioni generate da modelli di linguaggio come GPT-4 possono avere un valore economico concreto per gli investitori. Incorporare i segnali di trading basati sull’intelligenza artificiale nelle strategie di portafoglio potrebbe contribuire a generare performance superiori, soprattutto tra le società meno seguite dagli analisti.
Come ottenere una previsione finanziaria
Secondo il documento, per ottenere una previsione da parte del modello GPT-4 su un titolo azionario specifico, sarebbe necessario fornire al modello le seguenti informazioni finanziarie:
- Il bilancio (stato patrimoniale) degli ultimi due anni fiscali, indicati come anno t e anno t-1.
- Il conto economico degli ultimi tre anni fiscali, indicati come anno t, t-1 e t-2.
Questi prospetti finanziari dovrebbero seguire un formato standard, ad esempio quello utilizzato da Compustat, ed essere anonimizzati, cioè privi di riferimenti espliciti al nome dell’azienda o agli anni specifici.
Fornendo questi dati di input, e utilizzando opportuni “prompt” che guidino il modello nell’analisi, GPT dovrebbe essere in grado di generare una previsione binaria sull’andamento degli utili futuri (aumento o diminuzione) e quindi portarti alla decisione di scegliere una posizione Long o Short sul titolo.
Sfortunatamente il documento non riporta esattamente quali siano stati i prompt utilizzati per eseguire l’analisi dei bilanci. Il documento menziona solo che sono stati utilizzati dei “chain-of-thought prompts” dettagliati per guidare il modello a imitare il ragionamento di un analista finanziario umano. In particolare, il documento indica che i prompt istruiscono il modello a:
- Identificare cambiamenti notevoli in alcune voci di bilancio
- Calcolare alcuni indici finanziari chiave, senza limitare esplicitamente il set di indici da calcolare
- Fornire interpretazioni economiche degli indici calcolati
- Prevedere, sulla base delle informazioni quantitative e delle intuizioni derivate, se gli utili probabilmente aumenteranno o diminuiranno nel periodo successivo
- Produrre un paragrafo che elabori un ragionamento della previsione
- Fornire la magnitudo prevista della variazione degli utili e la confidenza nella sua risposta
Cosa ne pensi di questa tecnica ? Se vuoi lascia la tua opinione o eventuali procedure seguite per istruire GPT-4 nei commenti.
Analisti finanziari vs GPT-4: conclusioni
Lo studio dei ricercatori dell’Università di Chicago dimostra le notevoli capacità di GPT-4 nell’analisi finanziaria, un campo tradizionalmente dominio degli esperti umani. Il modello di linguaggio si è dimostrato in grado di esaminare dati numerici complessi come i bilanci aziendali e di generare previsioni sull’andamento degli utili più accurate di quelle degli analisti, pur senza alcun addestramento specifico.
Questi risultati suggeriscono che l’intelligenza artificiale potrebbe democratizzare l’accesso a analisi finanziarie di alta qualità, rendendole disponibili a un pubblico più ampio di investitori. La capacità di GPT-4 di generare spunti preziosi dai dati numerici potrà affiancarsi al giudizio esperto degli analisti, in un approccio integrato che sfrutti i punti di forza di entrambi.
