Scienziato dell'intelligenza artificiale: "Dobbiamo pensare fuori dagli schemi del grande modello linguistico"

Il cofondatore di AI21 Labs, Yoav Shoham, afferma che è necessario qualcosa in più per costruire un'intelligenza artificiale generativa migliore e più intelligente.

Gli sviluppatori di intelligenza artificiale generativa (Gen AI) spingono continuamente i confini di ciò che è possibile, come Gemini 1.5 di Google, che può accogliere un milione di token di informazioni alla volta.

Tuttavia, anche questo livello di sviluppo non è sufficiente per realizzare progressi reali nel campo dell’intelligenza artificiale, affermano i concorrenti che si confrontano con Google. "Dobbiamo pensare fuori dagli schemi del LLM", ha affermato il co-fondatore e co-CEO di AI21 Labs, Yoav Shoham, in un'intervista a ZDNET.

AI21 Labs, una startup sostenuta da privati, compete con Google nei LLM, i grandi modelli linguistici che costituiscono il fondamento della Gen AI. Shoham, che un tempo era uno dei principali scienziati di Google, è anche professore emerito alla Stanford University.

"Sono straordinari con i risultati che producono, ma non capiscono veramente cosa stanno facendo", ha detto degli LLM. "Penso che anche i più irriducibili sostenitori della rete neurale non pensino che si possa solo costruire un modello linguistico più ampio e che risolveranno tutto."

I ricercatori di AI21 Labs evidenziano gli errori di base del GPT-3 di OpenAI come esempio di come i modelli inciampano su domande fondamentali. La risposta, sostiene la startup, è arricchire gli LLM con qualcos’altro, come moduli che possano funzionare in modo coerente.

La startup di Shoham ha aperto la strada a nuovi approcci di Gen AI che vanno oltre il tradizionale "trasformatore", l'elemento centrale della maggior parte dei LLM. Ad esempio, AI21 Labs ad aprile ha lanciato un modello chiamato Jamba, un'intrigante combinazione di trasformatori con una seconda rete neurale chiamata modello dello spazio degli stati (SSM).

La miscela ha consentito a Jamba di superare altri modelli di intelligenza artificiale in parametri importanti. Shoham ha chiesto a ZDNET di concedergli una spiegazione approfondita di una metrica importante: la lunghezza del contesto.

La lunghezza del contesto è la quantità di input (in token, solitamente parole) che un programma può gestire. Meta's Llama 3.1 supporta fino a 128.000 token nella sua finestra di contesto. Jamba di AI21 Labs, che è anch'esso un software open source, ha il doppio di quella cifra: una finestra di contesto da 256.000 token.

Shoham. "Anche i più irriducibili sostenitori della rete neurale non pensano che si possa solo costruire un modello linguistico più ampio e risolveranno tutto."

Nei test testa a testa, utilizzando un benchmark costruito da Nvidia, Shoham ha affermato che il modello Jamba era l'unico modello oltre a Gemini in grado di mantenere quella finestra di contesto da 256K "nella pratica". La lunghezza del contesto può essere pubblicizzata come una cosa, ma può crollare poiché un modello ottiene un punteggio inferiore all'aumentare della lunghezza del contesto.

"Siamo gli unici ad avere la verità nella pubblicità", per quanto riguarda la lunghezza del contesto, ha detto Shoham. "Tutti gli altri modelli peggiorano con l'aumentare della lunghezza del contesto."

Gemini di Google non può essere testato oltre 128K, ha detto Shoham, dati i limiti imposti da Google all'interfaccia di programmazione dell'applicazione Gemini. "In realtà hanno una buona finestra di contesto effettiva, almeno a 128K," ha detto.

Jamba è più economico di Gemini per la stessa finestra da 128K, ha detto Shoham. "Sono circa 10 volte più costosi di noi", in termini di costo per fornire previsioni da Gemini rispetto a Jamba, la pratica dell'inferenza, ha detto.

Tutto ciò, ha sottolineato Shoham, è il prodotto della scelta “architettonica” di fare qualcosa di diverso, unendo un trasformatore a un SSM. "Puoi mostrare esattamente quante chiamate [API] vengono effettuate" al modello, ha detto a ZDNET. "Non si tratta solo del costo e della latenza, ma è inerente all'architettura."

Shoham ha descritto i risultati in un post sul blog.

Tuttavia, nessuno di questi progressi ha importanza, a meno che Jamba non riesca a fare qualcosa di superiore. I vantaggi di avere un’ampia finestra di contesto diventano evidenti, ha affermato Shoham, man mano che il mondo si sposta verso cose come la generazione aumentata di recupero (RAG), un approccio sempre più popolare che consiste nel collegare un LLM a una fonte di informazioni esterna, come un database.

Un'ampia finestra di contesto consente al LLM di recuperare e ordinare più informazioni dalla fonte RAG per trovare la risposta.

"Alla fine, recupera quanto più possibile [dal database], ma non troppo", è l'approccio giusto a RAG, ha affermato Shoham. "Ora puoi recuperare più di quanto potevi prima, se hai una lunga finestra di contesto, e ora il modello linguistico ha più informazioni con cui lavorare."

Alla domanda se esiste un esempio pratico di questo sforzo, Shoham ha detto a ZDNET: "È troppo presto per mostrare un sistema funzionante. Posso dirvi che abbiamo diversi clienti che sono rimasti frustrati dalle soluzioni RAG, che stanno lavorando con noi ora. E sono abbastanza sicuro che saremo in grado di mostrare pubblicamente i risultati, ma non è stato pubblicato abbastanza a lungo."

Jamba, che ha registrato 180.000 download da quando è stato inserito su HuggingFace, è disponibile sul servizio di inferenza Bedrock di Amazon AWS e su Microsoft Azure, e "le persone ci stanno facendo cose interessanti", ha detto Shoham.

Detto questo, anche un RAG migliorato non è in definitiva la salvezza per le varie carenze della Gen AI, dalle allucinazioni al rischio che generazioni di tecnologia diventino senza senso.

"Penso che vedremo persone chiedere di più, chiedere che i sistemi non siano ridicoli e avere qualcosa che assomigli a una reale comprensione, con risposte quasi perfette", ha detto Shoham, "e non saranno LLM puri".

In un articolo pubblicato il mese scorso sul server di prestampa arXiv, con il collaboratore Kevin Leyton-Brown, intitolato "Understanding Understanding: A Pragmatic Framework Motivated by Large Language Models", Shoham ha dimostrato come, attraverso numerose operazioni, come la matematica e la manipolazione di dati della tabella, i LLM hanno prodotto "spiegazioni convincenti che non valgono la carta metaforica su cui sono scritte".

"Abbiamo dimostrato come, collegando ingenuamente [un LLM] a una tabella, la funzione della tabella darà successo nel 70% o nell'80% delle volte", ha detto Shoham a ZDNET. "Questo è spesso molto piacevole perché ottieni qualcosa in cambio di niente, ma se si tratta di un lavoro mission-critical, non puoi farlo."

Tali carenze, ha affermato Shoham, significano che "l'intero approccio alla creazione di intelligenza dirà che i LLM hanno un ruolo da svolgere, ma fanno parte di un sistema di intelligenza artificiale più ampio che mette sul tavolo cose che non puoi fare con i LLM".

Tra le cose necessarie per andare oltre i LLM ci sono i vari strumenti emersi negli ultimi due anni, ha affermato Shoham. Elementi come le chiamate di funzione consentono a un LLM di trasferire un'attività a un altro tipo di software creato appositamente per un'attività particolare.

"Se vuoi fare addizioni, i modelli linguistici fanno addizioni, ma lo fanno in modo terribile", ha detto Shoham. "Hewlett-Packard ci ha regalato una calcolatrice nel 1970, perché reinventare quella ruota? Questo è un esempio di strumento."

L'utilizzo di LLM con strumenti è ampiamente raggruppato da Shoham e altri sotto la rubrica "sistemi di intelligenza artificiale composti". Con l'aiuto della società di gestione dei dati Databricks, Shoham ha recentemente organizzato un workshop sulle prospettive di costruzione di tali sistemi.

Un esempio dell'utilizzo di tali strumenti è presentare agli LLM la "struttura semantica" dei dati basati su tabelle, ha affermato Shoham. "Ora, grazie al LLM, si arriva a una precisione quasi del 100%, e questo non lo otterresti se utilizzassi semplicemente un modello linguistico senza elementi aggiuntivi.

Al di là degli strumenti, Shoham sostiene l’esplorazione scientifica di altre direzioni al di fuori del puro approccio di deep learning che ha dominato l’intelligenza artificiale per oltre un decennio. "Non otterrai un ragionamento solido solo con il back-prop e sperando per il meglio", ha detto Shoham, riferendosi alla propagazione all'indietro, la regola di apprendimento in base alla quale viene addestrata la maggior parte dell'intelligenza artificiale di oggi.

Shoham è stato attento a evitare di discutere delle prossime iniziative di prodotto, ma ha lasciato intendere che ciò che potrebbe essere necessario è rappresentato, almeno filosoficamente, in un sistema che lui e i suoi colleghi hanno introdotto nel 2022 chiamato MRKL (Modular Reasoning, Knowledge, and Language) System. .

L'articolo descrive il sistema MRKL come "neurale, compreso l'enorme modello linguistico generico così come altri LM più piccoli e specializzati", e anche "simbolico, ad esempio un calcolatore matematico, un convertitore di valuta o una chiamata API". in un database."

Questa ampiezza è un approccio neuro-simbolico all’intelligenza artificiale. In questo senso, Shoham è d’accordo con alcuni pensatori di spicco che nutrono preoccupazioni riguardo al predominio dell’intelligenza artificiale generazionale. Il critico frequente dell'intelligenza artificiale Gary Marcus, ad esempio, ha affermato che l'intelligenza artificiale non raggiungerà mai l'intelligenza a livello umano senza una capacità di manipolazione dei simboli.

MRKL è stato implementato come programma chiamato Jurassic-X, che la startup ha testato con i suoi partner.

Un sistema MRKL dovrebbe essere in grado di utilizzare LLM per analizzare problemi che coinvolgono frasi complicate, come "99 bottiglie di birra sul muro. Una è caduta. Quante bottiglie di birra ci sono sul muro?" L'operazione aritmetica vera e propria è gestita da una seconda rete neurale con accesso alla logica aritmetica, utilizzando gli argomenti estratti dal testo dal primo modello.

Un "router" tra i due ha il difficile compito di scegliere quali cose estrarre dal testo analizzato dal LLM e scegliere a quale "modulo" passare i risultati per eseguire la logica.

Questo lavoro significa che "non c'è pranzo gratis, ma in molti casi il pranzo è abbordabile", ha scritto il team di Shoham.

Dal punto di vista del prodotto e del business, "vorremmo, su base continuativa, fornire funzionalità aggiuntive affinché le persone possano costruire cose", ha affermato Shoham.

Il punto importante è che un sistema come MRKL non ha bisogno di fare tutto per essere pratico, ha affermato. "Se stai cercando di costruire un LLM universale che comprenda i problemi di matematica e come generare immagini di asini sulla luna, e come scrivere poesie, e fare tutto questo, può essere costoso", ha osservato. "Ma l'80% dei dati aziendali sono costituiti da testo: ci sono tabelle, grafici, ma gli asini sulla luna non sono così importanti nell'azienda."

Dato lo scetticismo di Shoham nei confronti dei LLM, esiste il pericolo che l'attuale generazione di intelligenza artificiale possa provocare quello che viene definito un inverno dell'intelligenza artificiale (un improvviso collasso dell'attività, poiché gli interessi e i finanziamenti si esauriscono completamente)?

"È una domanda valida e non conosco davvero la risposta", ha detto. "Penso che questa volta sia diverso in quanto, negli anni '80," durante l'ultimo inverno dell'IA, "non era stato creato abbastanza valore dall'IA per compensare l'hype infondato. Ora c'è chiaramente dell'hype infondato, ma la mia sensazione è che è stato creato abbastanza valore per permetterci di superare tutto questo."