La GenAI di Meta passa da semplici previsioni a una partita a scacchi ricca di conseguenze
Al posto dell'approccio convenzionale di ChatGPT, gli scienziati di Meta sostengono una "previsione multi-token" ottimizzata, che penalizzi le risposte sbagliate.
Uno schema dell'approccio di Meta alla cosiddetta previsione multi-token. Durante l'addestramento del modello AI, gli input vengono immessi come al solito, ma invece di addestrare il modello AI a produrre un singolo token come risposta - ad esempio la parola successiva più probabile - il modello viene addestrato a generarne simultaneamente quattro o più probabili gettoni.
I modelli di intelligenza artificiale generativa come GPT-4 ci hanno stupito tutti con la capacità di produrre output testuali che assomigliano al pensiero, come le risposte a domande a scelta multipla. Raggiungere il pensiero “giusto”, tuttavia, come rispondere alla domanda, rimane un problema più profondo, come evidenziato dal fenomeno delle “allucinazioni”, in cui i modelli di intelligenza artificiale affermeranno - con apparente sicurezza - false affermazioni.
In un nuovo lavoro, gli scienziati di Meta hanno modificato i modelli linguistici di grandi dimensioni (LLM) per produrre risultati che potrebbero essere più corretti in una determinata situazione, introducendo la nozione di penalità per le risposte errate.
L'approccio, noto come "previsione multi-token", cerca di instillare in un modello di intelligenza artificiale un costo per risposte meno desiderabili. In questo senso, è analogo agli approcci popolari per stabilire barriere nell'intelligenza artificiale come "apprendimento per rinforzo dal feedback umano" o RLHF, un metodo reso popolare da OpenAI per frenare i risultati più oltraggiosi di ChatGPT.
(Un "modello AI" è parte di un programma AI contenente numerosi parametri della rete neurale e funzioni di attivazione che sono gli elementi chiave per le funzioni di un programma AI.)
"I guadagni sono particolarmente pronunciati su benchmark generativi come la codifica, dove i nostri modelli superano costantemente le solide linee di base di diversi punti percentuali", scrivono gli autori di "Better & Faster Large Language Models via Multi-token Prediction". L'autore principale Fabian Gloeckle, insieme ai colleghi di Facebook AI Research e agli istituti che collaborano CERMICS École des Ponts ParisTech e LISN Université Paris-Saclay, ha pubblicato l'articolo il mese scorso sul server di prestampa arXiv.
La principale preoccupazione degli autori è che i LLM, nonostante i loro risultati impressionanti, non raggiungano obiettivi come il ragionamento o la pianificazione. L'approccio convenzionale di ChatGPT e degli altri, chiamato "previsione del token successivo", scrivono, "rimane un modo inefficiente per acquisire linguaggio, conoscenza del mondo e capacità di ragionamento".
Invece della semplice previsione del token successivo, in cui il modello di intelligenza artificiale è addestrato a prevedere un singolo "token", come una parola o un carattere in una serie di token - ad esempio la parola successiva in una frase - il multi-token del team Meta La versione token è addestrata a prevedere più token di testo simultaneamente, ognuno dei quali potrebbe essere il corretto completamento della sequenza.
Tecnicamente, il team di Gloeckle altera la struttura di base del LLM, noto come Transformer, in modo che abbia quattro "teste" di output che producono ciascuna una parola, un carattere o un altro simbolo, piuttosto che la singola testa standard.
Il vantaggio immediato dell'approccio è che può essere più efficiente in termini di memoria quando il modello di intelligenza artificiale è attivo, facendo previsioni per gli utenti, noto come fase di inferenza dell'intelligenza artificiale. Poiché più teste di output possono lavorare dietro le quinte per provare nuove possibilità, può verificarsi un elevato grado di parallelismo. Questa forma di "decodifica speculativa" significa che l'approccio multi-token "può accelerare l'inferenza di un fattore 3×" rispetto alla previsione di una cosa alla volta.
C'è anche una visione più profonda. I normali modelli di intelligenza artificiale che scelgono un token alla volta sono, in un certo senso, piatti: non considerano alcuna singola previsione più importante della precedente, purché la previsione corrente sia buona.
In effetti, il team nota che c'è una grande differenza tra alcuni token in una frase. Nel meme di punteggiatura spesso citato - "stop clubbing, cuccioli di foca" - la presenza o l'assenza di una virgola nella frase centrale fa la differenza tra un appello urgente per i diritti degli animali e un'immagine divertente. L'umorismo nell'espressione gioca nella mente perché la virgola altera la semantica della frase.
Il punto, come altri hanno osservato, è che "non tutte le decisioni simboliche sono ugualmente importanti per generare testi utili dai modelli linguistici", ha scritto il team di Gloeckle. "Mentre alcuni token consentono variazioni stilistiche che non vincolano il resto del testo, altri rappresentano punti di scelta che sono collegati a proprietà semantiche di livello superiore del testo e possono decidere se una risposta è percepita come utile o deragliare."
L’approccio multi-head e multi-token, ha scritto il team, assegna l’idoneità a ciascuna previsione in base alle altre previsioni simultanee. "In generale, crediamo che la qualità delle generazioni di testo dipenda dalla scelta delle giuste decisioni nei punti di scelta e che le perdite di previsione di n-token le promuovano", ha scritto il team.
Il "punto di scelta" coinvolge quei momenti in cui una previsione ne implica altre lungo la strada che possono creare o distruggere la frase totale. "La previsione multi-token assegna implicitamente pesi ai token di addestramento a seconda di quanto strettamente sono correlati con i loro successori", ha scritto il team.
Per analogia, il team di Gloeckle paragona la scelta della parola successiva al muoversi attraverso un labirinto: ogni scelta può essere un percorso verso la ricompensa o un percorso verso un destino terribile.
Usano l'immagine di un labirinto per illustrare il "compito di previsione sequenziale" (come si riferiscono alla previsione della parola successiva). Il prossimo passo giusto potrebbe essere cruciale e mandare il modello di intelligenza artificiale sulla strada giusta o su quella sbagliata: una “scelta consequenziale”, come la chiamano loro.
Scegliere il prossimo token giusto è come camminare in un labirinto, scrivono gli autori: in certi momenti, la scelta è "consequenziale" che manderà il programma al successo (il trofeo) o alla sconfitta (teschio e ossa incrociate).
In una sorprendente fusione di tecnologie, gli autori collegano l'approccio multi-token all'approccio RLHF, cercando di prevedere una ricompensa molto più avanti: "Assumiamo che il modello linguistico sia implementato in un contesto di apprendimento per rinforzo come nell'apprendimento per rinforzo dal feedback umano … [dove] le azioni sono singoli token […] da generare."
Collegare la previsione del testo alle funzioni di ricompensa in questo modo mette in gioco tutte le aree in cui le funzioni di ricompensa hanno fatto grandi passi avanti nel gioco. Le funzioni di ricompensa vengono utilizzate in tutti i tipi di problemi di intelligenza artificiale denominati apprendimento per rinforzo, non solo RLHF.
Ad esempio, l'unità DeepMind di Google ha utilizzato l'apprendimento per rinforzo per sviluppare AlphaZero, il programma in grado di battere gli umani a scacchi e a Go. È stato utilizzato anche nel programma AlphaStar per competere in gare di abilità nei videogiochi contro umani nel gioco di strategia in tempo reale StarCraft II.
Questa gamification ha il risultato immediato di produrre una risposta più “ottimale” rispetto all’approccio multi-token. Gli autori forniscono una serie di risultati di benchmark. Uno, ad esempio, confronta il modo in cui un modello di intelligenza artificiale con 7 miliardi di parametri neurali, o pesi, migliora le prestazioni nel passaggio dalla previsione singola a quella multi-token.
In un test chiamato "Mostly Basic Programming Problems" o MBPP, sviluppato da Google nel 2021, un modello di intelligenza artificiale deve produrre codice come righe di Python per una determinata funzione. Su questo benchmark, il programma raggiunge sempre una maggiore precisione con la previsione multi-token.
C'è anche un punto debole. Il modello di intelligenza artificiale sembra funzionare meglio con quattro token simultanei, mentre prevederne di più (sei o otto) porta a risultati non altrettanto buoni.
Nei test standardizzati come "Problemi di programmazione per lo più di base", in cui un LLM deve generare codice di programmazione, il modello AI della stessa dimensione, uno con 7 miliardi di parametri neurali o pesi, raggiunge una maggiore precisione quando vengono prodotti più token, come indicato da "n", il numero di token generati simultaneamente.
Come per molte cose nelle reti neurali, non è immediatamente chiaro il motivo per cui la previsione multi-token dovrebbe essere migliore della previsione a token singolo. L'impressione offerta dagli autori è che addestrando un modello per la previsione multi-token, il modello risultante evita una disconnessione che si verifica quando il modello AI effettua previsioni in tempo reale con suggerimenti reali da parte degli utenti. Questo è quello che viene chiamato un "disallineamento nella distribuzione tra la formazione forzata dagli insegnanti e la generazione autoregressiva".
Ci sono ancora molte cose da capire, hanno scritto Gloeckle e i suoi colleghi. Uno degli obiettivi è sviluppare un metodo per automatizzare lo sweet spot, il numero ottimale di token simultanei che porti alla massima precisione. Un altro è come determinare automaticamente la giusta quantità di dati necessari per addestrare il modello di intelligenza artificiale, dato che "le dimensioni ottimali del vocabolario per la previsione multi-token sono probabilmente diverse da quelle per la previsione del token successivo, e ottimizzarle potrebbe portare a risultati migliori".
Una conclusione più ampia è che l’apprendimento per rinforzo tradizionale potrebbe avere molto più da offrire all’IA generativa di quanto molti sospettassero fino ad oggi, suggerendo che ci sarà una maggiore fusione delle due metodologie in futuro.