Il piccolo modello LLaMA di Meta offre grandi vantaggi per i ricercatori sull'intelligenza artificiale
La società madre di Facebook ha rilasciato LLaMA, un modello relativamente piccolo ma potente che dovrebbe aiutare i ricercatori ad affrontare le trappole potenzialmente dannose e talvolta stravaganti dell'intelligenza artificiale.
I grandi modelli linguistici hanno preso d’assalto il mondo tecnologico. Alimentano strumenti di intelligenza artificiale, come ChatGPT e altri modelli conversazionali, ad esempio, che possono risolvere problemi, rispondere a domande, fare previsioni e altro ancora. Tuttavia, l’utilizzo di questi strumenti comporta rischi significativi. Sono noti per fare dichiarazioni apparentemente plausibili ma false, generare contenuti tossici e imitare i pregiudizi radicati nei dati di addestramento dell'intelligenza artificiale.
Per aiutare i ricercatori ad affrontare questi problemi, Meta, venerdì, ha annunciato il rilascio di un nuovo modello linguistico di grandi dimensioni chiamato LLaMA (Large Language Model Meta AI). L'azienda lo sta rendendo disponibile con una licenza non commerciale focalizzata su casi d'uso di ricerca, con l'intenzione di concedere l'accesso caso per caso. Sarà a disposizione dei ricercatori accademici; quelli affiliati a organizzazioni del governo, della società civile e del mondo accademico; e laboratori di ricerca industriale in tutto il mondo.
La cosa interessante di LLaMA è che è relativamente poco.
Come suggerisce il nome, i modelli linguistici di grandi dimensioni sono piuttosto grandi. Sono necessarie enormi quantità di dati sulla lingua (che si tratti di lingua parlata, codice informatico, dati genetici o altre "lingue") per creare un modello di intelligenza artificiale sufficientemente sofisticato da risolvere problemi in quella lingua, trovare risposte o generare le proprie composizioni.
"La formazione di modelli di base più piccoli come LLaMA è auspicabile nel vasto spazio dei modelli linguistici perché richiede molta meno potenza di calcolo e risorse per testare nuovi approcci, convalidare il lavoro di altri ed esplorare nuovi casi d'uso", ha osservato Meta.
Per addestrare un LLM relativamente "piccolo", Meta ha utilizzato "token" - pezzi di parole, piuttosto che parole intere. Meta ha addestrato LLaMA sul testo di 20 lingue con il maggior numero di parlanti, concentrandosi su quelle con alfabeti latini e cirillici.
LLaMA è in realtà una raccolta di modelli, che vanno da 7 miliardi a 65 miliardi di parametri. LLaMA 65B e LLaMA 33B sono stati addestrati con 1,4 trilioni di token, mentre il modello più piccolo, LLaMA 7B, è stato addestrato con un trilione di token. I modelli sono stati addestrati utilizzando solo set di dati disponibili pubblicamente.
Sebbene siano piccoli, i modelli LLaMA sono potenti. Meta ha affermato che LLaMA-13B supera GPT-3 (175B) nella maggior parte dei benchmark, mentre LLaMA-65B è competitivo con i migliori modelli, Chinchilla70B e PaLM-540B.
LLaMA è prezioso anche per la comunità di ricerca come insieme di modelli di base. I modelli di base vengono addestrati su dati senza etichetta, il che significa che possono essere personalizzati per un'ampia gamma di casi d'uso.
Meta renderà disponibile LLaMA in diverse dimensioni (parametri 7B, 13B, 33B e 65B) e condividerà anche una scheda del modello LLAMA che descrive in dettaglio come ha costruito il modello. L'azienda sta inoltre fornendo una serie di valutazioni sui parametri di riferimento che valutano le distorsioni dei modelli e la tossicità, in modo che i ricercatori possano comprendere i limiti di LLaMA e far avanzare la ricerca in queste aree.