Cerebras e Abu Dhabi costruiscono il modello di intelligenza artificiale in lingua araba più potente al mondo
Il team di scienziati ha compilato un set di dati di testi in arabo molto più ampio del normale, impiegando tecniche ingegnose per catturare le sfumature della lingua.
Jais-Chat, che prende il nome dalla montagna più alta degli Emirati Arabi Uniti, può accettare un suggerimento in arabo o inglese e completare la frase, proprio come fa ChatGPT.
In un’epoca in cui, presumibilmente, la lingua è di gran moda, i programmi di intelligenza artificiale come ChatGPT sono vistosamente limitati: si occupano principalmente dell’inglese con l’esclusione delle centinaia di altre lingue comunemente parlate nel mondo.
In segno di ciò che verrà, questa settimana la startup informatica Cerebras Systems ha annunciato di aver collaborato con Inception di Abu Dhabi, una filiale della società di investimento G42 degli Emirati Arabi Uniti, per creare quello che definisce il linguaggio open source più potente del mondo. modello per l’arabo, lingua parlata da circa 400 milioni di persone in tutto il mondo.
Usare il programma, chiamato Jais-Chat, è come digitare il prompt di Chat-GPT, tranne per il fatto che Jais-Chat può prendere e produrre la scrittura in lingua araba come input e output. Può, ad esempio, scrivere una lettera in arabo quando richiesto in inglese:
Oppure può prendere un prompt in lingua araba e generare una risposta in arabo:
Formato su un corpus speciale di testi arabi molto più ampio di quello comunemente disponibile, il programma evita l'approccio tipico di costruire un programma generalista che gestisce centinaia di lingue, in molti casi scarsamente, e si concentra invece esclusivamente sulle traduzioni in inglese e arabo.
Quando si eseguono test in arabo di conoscenza, ragionamento e pregiudizi, test come il test MMLU dell'Università della California a Berkeley, una serie di domande a scelta multipla, e HellaSwag dell'Allen Institute for AI, un compito di completamento di frasi - Jais-Chat ha ottenuto ben 10 punti in più rispetto ai principali modelli linguistici all'avanguardia come LlaMA 2 di Meta. Ha battuto i migliori programmi open source come Bloom di Big Science Workshop di quest'anno, e ha anche battuto i modelli linguistici specializzati creati esclusivamente per l'arabo.
Jais-Chat ottiene punteggi migliori in diversi test in arabo rispetto a modelli molto più grandi come LlaMA 2 di Meta.
"Molte aziende parlano di democratizzazione dell'intelligenza artificiale", ha affermato Andrew Feldman, cofondatore e CEO di Cerebras, in un'intervista a ZDNET. "Qui stiamo dando voce all'esperienza di 400 milioni di arabofoni nell'intelligenza artificiale: questo significa democratizzare l'intelligenza artificiale. È la lingua principale di 25 nazioni, quindi abbiamo pensato che fosse un progetto straordinario."
La disparità linguistica nell’intelligenza artificiale è stata osservata e oggetto di notevole attenzione ormai da qualche tempo. Nel progetto "No Language Left Behind" (NLLB) condotto lo scorso anno da Meta Properties, gli scienziati dell'azienda si sono sforzati di far avanzare lo stato dell'arte nella gestione simultanea di 200 lingue, con un'attenzione particolare alle cosiddette lingue "a scarse risorse", quelle senza un ampio corpus di testo online che possa essere utilizzato per addestrare i modelli.
Come hanno notato gli autori di Meta, gli studi del settore "indicano che mentre solo il 25,9% degli utenti di Internet parla inglese, il 63,7% di tutti i siti web sono in inglese".
"La verità è che la maggior parte dei set di dati si basano sullo scraping di Internet, e Internet è per lo più in inglese, e questa è una situazione davvero spiacevole", ha affermato Feldman.
I tentativi di colmare il divario linguistico nell’intelligenza artificiale hanno tipicamente coinvolto programmi di intelligenza artificiale generalisti, come NLLB di Meta. Tuttavia, i programmi non riescono a mostrare miglioramenti in una serie di lingue, comprese non solo le lingue con scarse risorse come l’oromo (nativo dell’Etiopia e del Kenya), ma anche le lingue con materiale di traduzione prevalente come il greco e l’islandese.
E i cosiddetti programmi multimodali come il successore di NLLB, SeamlessM4T di Meta, presentato questo mese, provano a svolgere molti compiti diversi con dozzine di lingue utilizzando un solo modello, inclusa la trascrizione da testo a voce e la conversione da voce a testo. generazione. Ciò può appesantire l’intero processo con obiettivi aggiuntivi.
Invece di un approccio generalista o multimodale, l'autore principale Neha Sengupta di Inception, insieme al team di Cerebras e agli studiosi dell'Università di Intelligenza Artificiale Mohamed bin Zayed degli Emirati Arabi Uniti, ha costruito un programma che forma il programma solo su arabo e inglese insieme.
Inoltre, hanno costruito un set di dati speciale di testi in lingua araba. Hanno compilato dati per un valore di 55 miliardi di token provenienti da una miriade di fonti come Abu El-Khair, una raccolta di oltre 5 milioni di articoli, che abbracciano 14 anni, dalle principali fonti di notizie; la versione in lingua araba di Wikipedia; e trascrizioni delle Nazioni Unite, tra gli altri.
Quindi, con un approccio che probabilmente diventerà esemplare per le lingue con minori risorse, gli autori sono riusciti ad aumentare i dati sulla formazione in lingua araba dai 55 miliardi di token originali a 72 miliardi eseguendo la traduzione automatica di testi inglesi in arabo. Come lo descrivono, "Aumentiamo ulteriormente i dati arabi traducendo 3 miliardi di token dalla Wikipedia inglese e 15 miliardi di token dal corpus Books3".
Gli autori hanno quindi sovracampionato il testo in lingua araba di 1,6 volte, aumentando ulteriormente i dati in lingua araba per un totale di 116 miliardi di token.
Gli autori hanno adottato un altro approccio innovativo: hanno combinato i testi arabi e inglesi con miliardi di token provenienti da frammenti di codice informatico, in varie lingue, raccolti da GitHub. Il set di dati finale è composto per il 29% da arabo, per il 59% da inglese e per il 12% da codice.
Sengupta e il team sono andati oltre il semplice utilizzo di un set di dati speciale. Hanno anche utilizzato diverse tecniche speciali per rappresentare il vocabolario arabo.
I ricercatori hanno creato il proprio "tokenizer", l'algoritmo per suddividere il testo in singole unità. Il tipico tokenizzatore utilizzato da programmi come GPT-3 "è principalmente addestrato su corpora inglesi", scrivono, in modo che le parole arabe comuni "sono sovrasegmentate in singoli caratteri [il che] riduce le prestazioni del modello e aumenta il costo computazionale". ."
Hanno anche utilizzato un algoritmo di “incorporamento” all’avanguardia, ALiBi, sviluppato lo scorso anno dall’Allen Institute e Meta. Questo algoritmo è molto più efficace nel gestire contesti molto lunghi, ovvero input in un modello linguistico digitati al prompt o richiamati dalla memoria.
"Quello che volevamo fare era catturare le sfumature linguistiche dell'arabo e i riferimenti culturali", ha detto Feldman, che ha trascorso molto tempo viaggiando in Medio Oriente. "E non è facile quando la maggior parte del modello è in inglese."
Migliorato con queste e altre modifiche, il risultato è un modello linguistico chiamato Jais, e la sua app di chat complementare, Jais-Chat, che misura 13 miliardi di "parametri", i pesi neurali che formano gli elementi attivi critici della rete neurale. Jais si basa sull'architettura GPT-3 progettata da OpenAI, una cosiddetta versione solo decoder del Transformer di Google del 2017.
Jais prende il nome da Jebel Jais, una montagna, secondo Wikipedia, "considerata il punto più alto degli Emirati Arabi Uniti, a 1.892 m (6.207 piedi) sopra il livello del mare". (Articolo in lingua araba).
Il codice del programma Jais viene rilasciato sotto la licenza del codice sorgente Apache 2.0 ed è disponibile per il download su Hugging Face. È possibile utilizzare una demo di Jais iscrivendosi a una lista d'attesa. Gli autori intendono rendere pubblico il set di dati "nel prossimo futuro", secondo Feldman.
I programmi sono stati eseguiti su quello che Cerebras definisce “il più grande supercomputer del mondo per l’intelligenza artificiale”, denominato Condor Galaxy 1, costruito per G42 e presentato il mese scorso.
La macchina è composta da 32 computer AI per scopi speciali di Cerebras, il CS-2, i cui chip, il "Wafer-Scale-Engine", contengono collettivamente un totale di 27 milioni di core di calcolo, 41 terabyte di memoria e 194 trilioni di bit al secondo di larghezza di banda. Sono supervisionati da 36.352 processori server EPYC x86 di AMD.
I ricercatori hanno utilizzato una parte di quella capacità, 16 macchine, per addestrare e "mettere a punto" Jais.
Il programma supera il suo peso con 13 miliardi di parametri. Si tratta di una rete neurale relativamente piccola, rispetto a cose come GPT-3 da 175 miliardi di parametri, e programmi più grandi con più parametri sono generalmente considerati più potenti.
"Le sue capacità pre-addestrate e ottimizzate superano tutti i modelli arabi open source conosciuti", scrivono Sengupta e il team, "e sono paragonabili ai modelli inglesi open source all'avanguardia che sono stati addestrati su set di dati più grandi".
Come notano gli autori, il set di dati arabo originale di 72 miliardi di token non sarebbe normalmente sufficiente per un modello più grande di 4 miliardi di parametri, secondo la regola pratica dell’intelligenza artificiale nota come The Chinchilla Law, formulata dai ricercatori di DeepMind di Google.
Infatti, non solo Jais-Chat nella sua forma da 13 miliardi di parametri supera LlAMA 2 e altri, ma in una versione più piccola del loro programma con soli 6,7 miliardi di parametri, è anche in grado di ottenere punteggi più alti sugli stessi test standardizzati come MMLU e HellaSwag.
Jais-Chat ottiene punteggi migliori in diversi test in arabo rispetto a modelli molto più grandi come LlaMA 2 di Meta.
"La cosa interessante è che l'arabo ha migliorato anche l'inglese", ha detto Feldman, riferendosi al rendimento di Jais nelle valutazioni. "Ci siamo ritrovati con un modello altrettanto valido di LlaMA in inglese, anche se lo abbiamo addestrato su circa un decimo dei dati."
Il lavoro non solo stabilisce nuovi punteggi di riferimento in arabo, ma accelera anche notevolmente il tempo necessario per addestrare un modello del genere rispetto a quello che sarebbe richiesto con i chip GPU standard del tipo venduto da Nvidia, il principale fornitore di intelligenza artificiale.
Si stima che per distribuire il lavoro e addestrare Jais un cluster GPU da 512 nodi richiederebbe tra 60 e 100 giorni, ha affermato Cerebras, contro i soli 21 giorni del Condor Galaxy 1.
"Ci sarebbero voluti 20 giorni solo per configurare un cluster GPU prima di eseguire il modello", ha scherzato Feldman. "E questo è un cluster straordinariamente costoso."
I programmi Jais sono gli ultimi di una serie di contributi di Cerebras allo sforzo del software open source sulla scia del ridimensionamento della divulgazione da parte di OpenAI e Google. Un altro programma sviluppato su Condor Galaxy 1, chiamato BTLM-3B-8K, è attualmente il modello numero uno per una configurazione da 3 miliardi di parametri su Hugging Face, con oltre un milione di download, ha osservato Feldman.
"Abbiamo costruito un supercomputer, abbiamo persone che lo usano, stiamo facendo avanzare la comunità open source", ha detto Feldman, "questo è tutto positivo".