Il generatore di immagini AI di Meta afferma che il linguaggio potrebbe essere tutto ciò di cui hai bisogno

Il programma CM3Leon può generare immagini ad alta risoluzione con una frazione del calcolo di approcci come la diffusione.

Utilizzando una frazione del calcolo della GPU, CM3Leon di Meta ottiene immagini con combinazioni complesse di oggetti e cose difficili da riprodurre come mani e testo, e a un livello che raggiunge un nuovo stato dell'arte nel punteggio FID di riferimento.

Negli ultimi anni, il mondo è rimasto stupito dai programmi di intelligenza artificiale che generano immagini quando si digita una frase, programmi come Stable Diffusion e DALL*E che riproducono immagini in qualsiasi stile desiderato e che possono essere leggermente variate utilizzando diverse frasi guidate.

In genere, questi programmi si basano sulla manipolazione di immagini di esempio eseguendo un processo di compressione sulle immagini di esempio e quindi decomprimendole per recuperare l'originale, in base al quale apprendono le regole della creazione delle immagini, un processo denominato diffusione.

Inoltre: AI generativa: non chiamatela semplicemente "artista", dicono gli studiosi sulla rivista Science

Il lavoro di Meta presentato la scorsa settimana suggerisce qualcosa di molto più semplice: un'immagine può essere trattata semplicemente come un insieme di codici come le parole e può essere gestita in modo molto simile al modo in cui ChatGPT manipola le righe di testo.

Potrebbe darsi che la lingua sia tutto ciò di cui hai bisogno nell’intelligenza artificiale.

Il risultato è un programma in grado di gestire soggetti complessi con più elementi ("Un orsacchiotto che indossa un casco da motociclista e un mantello sta guidando una motocicletta a Rio de Janeiro con Dois Irmãos sullo sfondo.") Può riprodurre oggetti difficili come mani e testo, materiale che tende a risultare distorto in molti programmi di generazione di immagini. Può eseguire altre attività, come descrivere in dettaglio una determinata immagine o alterare una determinata immagine con precisione. E ciò può essere fatto con una frazione della potenza di calcolo normalmente necessaria.

Nell'articolo "Scaling Autoregressive Multi-Modal Models: Pre-training and Instruction Tuning", di Lilu Yu e colleghi di Facebook AI Research (FAIR), pubblicato sul sito di ricerca sull'intelligenza artificiale di Meta, l'intuizione chiave è utilizzare le immagini come se fossero parole. O, piuttosto, testo e immagine funzionano insieme come frasi continue che utilizzano un "codice" per sostituire le immagini con token.

"Il nostro approccio estende la portata dei modelli autoregressivi, dimostrando il loro potenziale per competere e superare i modelli di diffusione in termini di rapporto costo-efficacia e prestazioni", scrivono Yu e il team.

L'idea di un codebook risale al lavoro del 2021 di Patrick Esser e colleghi dell'Università di Heidelberg. Hanno adattato un tipo di rete neurale di vecchia data, chiamata rete neurale convoluzionale (o CNN), esperta nella gestione di file di immagini. Addestrando un programma di intelligenza artificiale chiamato rete generativa avversaria, o GAN, che può fabbricare immagini, la CNN è stata in grado di associare aspetti di un'immagine, come i bordi, con le voci in un codice."

Tali indici possono quindi essere previsti nel modo in cui le parole in un modello linguistico come ChatGPT prevedono la parola successiva. Le immagini ad alta risoluzione diventano sequenze di previsioni di indice anziché di previsione di pixel, che è un'operazione molto meno impegnativa in termini di calcolo.

L'input di CM3Leon è una stringa di token, in cui le immagini sono ridotte a solo un altro token in forma di testo, un riferimento a una voce del libro di codici.

Utilizzando l'approccio del libro di codici, Yu e colleghi di Meta hanno assemblato quello che viene chiamato CM3Leon, pronunciato "camaleonte", una rete neurale che è un grande modello linguistico in grado di gestire un libro di codici di immagini.

CM3Leon si basa su un programma precedente introdotto lo scorso anno da FAIR - CM3, per "Modellazione multimodale causalmente mascherata". È come ChatGPT in quanto è un programma in stile "Transformer", addestrato a prevedere l'elemento successivo in una sequenza - una "architettura trasformatore solo decoder" - ma lo combina con il "mascheramento" di parti di ciò che viene digitato, simili al programma BERT di Google, in modo che possa anche ricavare contesto da ciò che potrebbe venire dopo in una frase.

CM3Leon si basa su CM3 aggiungendovi quello che viene chiamato recupero. Il recupero, che sta diventando sempre più importante nei modelli linguistici di grandi dimensioni, significa che il programma può "telefonare a casa", se vuoi, per accedere a un database di documenti e recuperare ciò che potrebbe essere rilevante come output del programma. È un modo per avere accesso alla memoria in modo che i pesi, o parametri, della rete neurale non debbano sopportare il peso di trasportare tutte le informazioni necessarie per fare previsioni.

Secondo Yu e il suo team, il loro database è una "banca dati" vettoriale in cui è possibile effettuare ricerche sia per documenti di immagini che di testo: "Dividiamo il documento multimodale in una parte di testo e una parte di immagine, li codifichiamo separatamente utilizzando off-the -riporre i codificatori di testo e immagine CLIP congelati, quindi mediare i due come rappresentazione vettoriale del documento."

In una svolta inedita, i ricercatori utilizzano come set di dati di addestramento non immagini di Internet ma una raccolta di 7 milioni di immagini concesse in licenza da Shutterstock, la società di fotografia stock. "Di conseguenza, possiamo evitare preoccupazioni legate alla proprietà e all'attribuzione delle immagini, senza sacrificare le prestazioni."

Le immagini Shutterstock recuperate dal database vengono utilizzate nella fase di pre-formazione di CM3Leon per sviluppare le capacità del programma. È lo stesso modo in cui ChatGPT e altri modelli linguistici di grandi dimensioni vengono pre-addestrati. Ma ha poi luogo una fase aggiuntiva in cui l'input e l'output del CM3Leon pre-addestrato vengono entrambi reimmessi nel modello per perfezionarlo ulteriormente, un approccio chiamato "messa a punto supervisionata" o SFT.

Il risultato di tutto ciò è un programma che raggiunge lo stato dell'arte per una varietà di compiti di testo-immagine. Il loro test principale è Microsoft COCO Captions, un set di dati pubblicato nel 2015 da Xinlie Chen della Carnegie Mellon University e colleghi. Un programma viene giudicato in base alla capacità di replicare le immagini nel set di dati, secondo il cosiddetto punteggio FID, una misura di somiglianza introdotta nel 2018 da Martin Heusel e colleghi dell'Università Johannes Kepler di Linz in Austria.

Scrivi Yu e il suo team: "Il modello CM3Leon-7B stabilisce un nuovo punteggio FID all'avanguardia di 4,88, utilizzando solo una frazione dei dati di addestramento e di calcolo di altri modelli come PARTI." La parte "7B" si riferisce al programma CM3Leon con 7 miliardi di parametri neurali, una misura comune della scala del programma.

Una tabella mostra come il modello CM3Leon ottiene un punteggio FID migliore (più basso è meglio) con molti meno dati di addestramento e con meno parametri rispetto ad altri modelli, il che equivale a dire meno intensità di calcolo:

Un grafico mostra come CM3Leon raggiunge quel punteggio FID superiore utilizzando meno ore di formazione sulle GPU Nvidia A100:

Qual è il quadro generale? CM3Leon, utilizzando una singola frase guidata, non solo può generare immagini ma può anche identificare oggetti in una determinata immagine, o generare didascalie da una determinata immagine, o fare qualsiasi altra cosa destreggiandosi tra testo e immagine. È chiaro che la pratica estremamente popolare di digitare elementi in un prompt sta diventando un nuovo paradigma. Lo stesso gesto di digitazione può essere ampiamente utilizzato per molte attività con molte "modalità", ovvero diversi tipi di dati: immagini, suoni, audio, ecc.

Come concludono gli autori, "I nostri risultati supportano il valore dei modelli autoregressivi per un'ampia gamma di compiti di testo e immagini, incoraggiando ulteriori esplorazioni per questo approccio".