L’intelligenza artificiale generativa fallisce in questa capacità molto comune del pensiero umano

Sia GPT-3.5 che GPT-4 di OpenAI hanno fallito quando sono stati confrontati con livelli sempre maggiori di questa attività informatica di base, indicando un'omissione fondamentale nella loro progettazione.

Le famose bambole "matrioska", dove ogni bambola ha un'altra bambola annidata al suo interno, e poi un'altra e un'altra ancora, è un classico esempio del principio di ricorsione, dove la cosa contiene se stessa. Le persone riconoscono immediatamente questi esempi di ricorsione, ma l’intelligenza artificiale generativa non ne ha idea.

Tra i concetti sublimi che gli esseri umani afferrano intuitivamente c'è il concetto di ricorsione, dove qualcosa contiene una sorta di ripetizione di se stessa che si estende all'infinito. Qualsiasi "film nel film" potrebbe essere un esempio di ricorsione. Le famose matrioske "bambole da nidificazione" provenienti dalla Russia, dove ogni bambola di legno si apre per rivelare una bambola più piccola, è un accattivante esempio di ricorsione.

Una tua foto con in mano un'immagine di te stesso in cui tieni in mano un'immagine di te stesso, all'infinito, è una classica fantasia visiva ricorsiva che crea gioia in chiunque.

Ma i programmi di intelligenza artificiale, compresi i programmi di intelligenza artificiale generativa come ChatGPT, non possono gestire la ricorsione, almeno non in modo coerente, secondo gli studiosi dell’Università Urbana-Champaign dell’Illinois. L'incapacità di gestire la ricorsione ostacola le prestazioni dell'intelligenza artificiale nelle attività. In particolare, l’intelligenza artificiale può fallire nelle attività di programmazione in cui alcuni frammenti di codice ripetono una versione più piccola e atomica dello stesso codice.

"Ad esempio, i modelli addestrati per attività di programmazione possono fraintendere programmi con blocchi annidati o produrre parentesi sbilanciate", secondo l'autore principale Shizhuo Dylan Zhang dell'Università dell'Illinois e colleghi nell'articolo, "I modelli basati su trasformatori non sono ancora perfetti nell'imparare a Emula ricorsione strutturale", pubblicato questo mese sul server di prestampa arXiv.

Per esaminare come la generazione AI rimane bloccata dalla ricorsione, gli autori hanno ideato un semplice test per modelli linguistici di grandi dimensioni (LLM). Dato un pezzo di codice, ad esempio l'aggiunta ricorsiva di numeri, un LLM può produrre una descrizione del modello di ricorsione nel codice?

Zhang e il team scelgono un compito di programmazione classico, chiamato attraversamento dell'albero. Un tipo di dati in informatica è chiamato tipo di albero se ha parti ramificate che portano a ulteriori rami - tipo di albero che contiene più alberi. "Attraversare" l'albero significa ispezionare ciascuna parte dell'albero in un certo ordine.

Nel modello linguistico - in questo caso GPT-3.5 "Turbo" e GPT-4 (i modelli più potenti di OpenAI) - inseriscono un prompt che contiene la dichiarazione del problema e un esempio dell'attraversamento dell'albero e un'istruzione per eseguire l'albero attraversamento. L'output dei GPT dovrebbe essere la soluzione all'attraversamento dell'albero e anche una spiegazione della regola utilizzata per eseguire tale attraversamento.

Ciò che scoprono è che i programmi iniziano a fallire nel risolvere l'attraversamento man mano che l'albero diventa più grande o, in termini informatici, ha una maggiore profondità. "Le prestazioni dei modelli linguistici di grandi dimensioni mostrano un calo significativo all'aumentare della profondità dell'albero, in correlazione con un aumento della complessità e del numero di passaggi di riduzione richiesti", scrivono.

Un'analisi qualitativa, scrivono, rivela che i modelli linguistici non possono effettuare la giusta "riduzione", ovvero sostituire qualche elemento dell'albero con l'elemento ricorsivo che contiene, per continuare con successo l'attraversamento. "Questo tipo di errore sottolinea le sfide che gli LLM devono affrontare nel mantenere la coerenza algoritmica su sequenze estese, in particolare quando l'attività richiede il rispetto di un preciso ordine di operazioni", scrivono.

Non solo i LLM non riescono a risolvere correttamente alcuni attraversamenti, ma i programmi non riescono a spiegare, fornendo un esempio nel prompt, quale sia la regola che potrebbe essere utilizzata per un attraversamento riuscito.

"I LLM faticano a trovare le regole corrette da esempi contestualizzati", scrivono Zhang e il suo team, "e falliscono in modi interessanti quando eseguono una riduzione graduale nel contesto".

Cosa significa che i programmi non possono gestire la ricorsione?

Da un lato, la mancanza della capacità di lavorare con la ricorsione indica una mancanza di logica, scrivono Zhang e il suo team. "L'esecuzione di ogni fase di riduzione nell'attraversamento di un albero richiede un ragionamento logico più sofisticato", e questo non è nei programmi.

Tuttavia, anche gli esseri umani che non hanno una buona conoscenza della logica formale possono immediatamente apprezzare il tipo di ricorsione che si verifica nel tipo "film nel film" e in altri esempi.

A un livello molto più semplice, suggeriscono gli autori, il design dei GPT deve essere riconsiderato dai loro creatori.

"Ipotizziamo che la causa fondamentale [dei fallimenti] sia che il modello non è stato ottimizzato per rappresentare modelli ricorsivi abbastanza bene", scrivono. "I nostri esperimenti di apprendimento in contesto hanno rivelato la mancanza di capacità degli LLM di 'pensare in modo ricorsivo' poiché tendono a estrarre regole non ricorsive dai dati.

"Inoltre, i modelli mancano di precisione quando eseguono la riduzione graduale, dove potrebbero perdersi nel mezzo o non riuscire ad applicare la condizione di arresto."

Lasciati fuori dallo studio sono tutti i modi in cui l’incapacità di gestire la ricorsione può ostacolare le prestazioni dell’intelligenza artificiale in vari compiti, dalla scrittura di saggi alla programmazione di computer. È vero che, come notano Zhang e il suo team, i programmi possono compensare, fino a un certo punto, con piccoli trucchi che raccolgono.

Eppure, la ricorsione è un fenomeno così fondamentale che, a un certo punto, la sua assenza è destinata ad avere conseguenze sui programmi.