Che cos'è esattamente un PC AI? E dovresti comprarne uno nel 2025?
Evitando gli output specifici dei dati per le rappresentazioni interne, Meta mira a un tipo di intelligenza artificiale più generale.
La corsa è iniziata per creare una rete neurale in grado di elaborare più tipi di dati, un'intelligenza artificiale più generale che non discrimina sui tipi di dati, ma invece può elaborarli tutti all'interno della stessa struttura di base.
Il Transformer, molto generale, diventa quello che viene chiamato un pre-training che può poi essere applicato a specifiche reti neurali al fine di eseguire compiti specifici. Ad esempio, gli autori utilizzano data2vec come pre-addestramento per equipaggiare quello che viene chiamato "ViT", il "Vision Transformer", una rete neurale specificamente progettata per le attività di visione che è stata introdotta l'anno scorso da Alexey Dosovitskiy e colleghi di Google.
Meta mostra i punteggi migliori per il venerabile concorso di riconoscimento delle immagini ImageNet.
Quando vengono utilizzati su ViT per cercare di risolvere il test standard ImageNet di riconoscimento delle immagini, i risultati si collocano in cima alla classifica, con una precisione dell'84,1%. Questo è migliore del punteggio dell'83,2% ricevuto da un team di Microsoft che ha pre-addestrato ViT guidato da Hangbo Bao l'anno scorso.
E lo stesso data2vec Transformer produce risultati che sono allo stato dell'arte per il riconoscimento vocale e che sono competitivi, se non i migliori, per l'apprendimento del linguaggio naturale:
I risultati sperimentali mostrano che data2vec è efficace in tutte e tre le modalità, stabilendo un nuovo stato dell'arte per ViT-B e ViT-L su ImageNet-1K, migliorando rispetto al miglior lavoro precedente nell'elaborazione vocale sul riconoscimento vocale e ottenendo prestazioni pari a RoBERTa sul benchmark di comprensione del linguaggio naturale GLUE.
Il punto cruciale è che questo sta accadendo senza alcuna modifica della rete neurale per riguardare le immagini, e lo stesso per il parlato e il testo. Invece, ogni tipo di input entra nella stessa rete e completa lo stesso compito molto generale. Questo compito è lo stesso che le reti Transformer usano sempre, noto come "previsione mascherata".
Il modo in cui data2vec esegue la previsione mascherata, tuttavia, è un approccio noto come apprendimento "auto-supervisionato". In un ambiente auto-supervisionato, una rete neurale viene addestrata o sviluppata dovendo passare attraverso più fasi.
In primo luogo, la rete costruisce una rappresentazione della probabilità congiunta di input di dati, che si tratti di immagini, parlato o testo. Quindi, una seconda versione della rete ha alcuni di questi elementi di dati di input "mascherati", lasciati non rivelati. Deve ricostruire la probabilità congiunta che la prima versione della rete aveva costruito, il che la costringe a creare rappresentazioni sempre migliori dei dati essenzialmente riempiendo gli spazi vuoti.
Una panoramica dell'approccio data2vec.
Le due reti, quella con lo schema completo della probabilità congiunta, e quella con la versione incompleta che sta cercando di completare, sono chiamate, abbastanza sensatamente, "Insegnante" e "Studente". La rete degli Studenti cerca di sviluppare il suo senso dei dati, se si vuole, ricostruendo ciò che l'Insegnante ha già raggiunto.
Puoi vedere il codice per i modelli su Github.
In che modo la rete neurale si comporta Insegnante e Studente per tre tipi di dati molto diversi? La chiave è che l'"obiettivo" della probabilità congiunta in tutti e tre i casi di dati non è un tipo di dati di output specifico, come nel caso delle versioni del Transformer per un tipo di dati specifico, come BERT di Google o GPT-3 di OpenAI.
Piuttosto, data2vec sta catturando un gruppo di strati di rete neurale che si trovano all'interno della rete neurale, da qualche parte nel mezzo, che rappresentano i dati prima che vengano prodotti come output finale.
Come scrivono i ricercatori, "Una delle principali differenze del nostro metodo [...] oltre all'esecuzione di previsioni mascherate, è l'uso di obiettivi che si basano sulla media di più livelli dalla rete di insegnanti". In particolare, "regrediamo più rappresentazioni del livello della rete neurale invece del solo livello superiore", in modo che "data2vec preveda le rappresentazioni latenti dei dati di input".
Aggiungono: "Generalmente usiamo l'output della FFN [rete feed-forward] prima dell'ultima connessione residua in ogni blocco come target", dove un "blocco" è l'equivalente del trasformatore di un livello di rete neurale.
Il punto è che ogni tipo di dato che entra diventa la stessa sfida per la rete Student di ricostruire qualcosa all'interno della rete neurale che l'Insegnante aveva composto.
Questa media è diversa da altri approcci recenti alla costruzione di una rete unica per elaborare tutti i dati. Ad esempio, la scorsa estate, l'unità DeepMind di Google ha offerto quello che chiama "Percepr", la sua versione multimodale del Transformer. L'addestramento della rete neurale Perceptionr è il processo più standard per produrre un output che è la risposta a un'attività etichettata e supervisionata come ImageNet. Nell'approccio auto-supervisionato, data2vec non utilizza tali etichette; Si tratta solo di cercare di ricostruire la rappresentazione interna dei dati da parte della rete.
Sforzi ancora più ambiziosi sono dietro le quinte. Jeff Dean, responsabile degli sforzi di intelligenza artificiale di Google, a ottobre ha anticipato "Pathways", definendolo una "architettura di intelligenza artificiale di nuova generazione" per l'elaborazione multimodale dei dati.
Intendiamoci, l'approccio molto generale di data2vec a una singola rete neurale per più modalità ha ancora molte informazioni sui diversi tipi di dati. L'immagine, il parlato e il testo sono tutti preparati mediante la pre-elaborazione dei dati. In questo modo, l'aspetto multimodale della rete si basa ancora su indizi sui dati, quelli che il team definisce "piccoli codificatori di input specifici per modalità".
Non siamo ancora in un mondo in cui una rete neurale viene addestrata senza alcun senso dei tipi di dati di input. Inoltre, non siamo in un momento in cui la rete neurale può costruire una rappresentazione che combina tutti i diversi tipi di dati, in modo che la rete neurale impari le cose in combinazione.
Questo fatto è reso chiaro da uno scambio tra ZDNet e i ricercatori. ZDNet ha contattato Baevski e il team e ha chiesto: "Le rappresentazioni latenti che fungono da bersagli sono una codifica combinata di tutte e tre le modalità in un dato passaggio temporale, o di solito sono solo una delle modalità?"
Baevski e il team hanno risposto che si tratta di quest'ultimo caso, e la loro risposta è abbastanza interessante da citare per esteso:
Le variabili latenti non sono una codifica combinata per le tre modalità. Addestriamo modelli separati per ogni modalità, ma il processo attraverso il quale i modelli apprendono è identico. Questa è la principale innovazione del nostro progetto, poiché prima c'erano grandi differenze nel modo in cui i modelli vengono addestrati in diverse modalità. I neuroscienziati ritengono anche che gli esseri umani imparino in modi simili sui suoni e sul mondo visivo. Il nostro progetto dimostra che l'apprendimento auto-supervisionato può funzionare allo stesso modo anche per diverse modalità.
Date le limitazioni specifiche della modalità di data2vec, una rete neurale che potrebbe davvero essere One Network To Rule Them All rimane la tecnologia del futuro.