In che modo il progetto di IBM per la trasformazione del settore sfrutta l'intelligenza artificiale, il 5G e la collaborazione
I problemi fondamentali sfuggono a molti ceppi di deep learning, afferma LeCun, incluso il mistero di come misurare le informazioni.
"Penso che i sistemi di intelligenza artificiale debbano essere in grado di ragionare", afferma Yann LeCun, capo scienziato dell'intelligenza artificiale di Meta. Gli approcci di intelligenza artificiale più diffusi oggi, come i Transformers, molti dei quali si basano sul suo lavoro pionieristico nel campo, non saranno sufficienti. "Devi fare un passo indietro e dire: Ok, abbiamo costruito questa scala, ma vogliamo andare sulla luna, e non c'è modo che questa scala ci porti lì", dice LeCun.
(L'articolo è aggiornato con le confutazioni di Gary Marcus e Jürgen Schmidhuber nel contesto.)
Yann LeCun, capo scienziato dell'intelligenza artificiale di Meta, proprietario di Facebook, Instagram e WhatsApp, probabilmente spunterà molte persone nel suo campo.
Con la pubblicazione a giugno di un articolo di riflessione sul server Open Review, LeCun ha offerto un'ampia panoramica di un approccio che ritiene promettente per raggiungere un'intelligenza di livello umano nelle macchine.
Implicita, se non articolata nel documento, è la tesi secondo cui la maggior parte dei grandi progetti odierni nel campo dell'intelligenza artificiale non saranno mai in grado di raggiungere quell'obiettivo a livello umano.
In una discussione di questo mese con ZDNET via Zoom, LeCun ha chiarito che vede con grande scetticismo molte delle strade di ricerca di maggior successo nell'apprendimento profondo al momento.
"Penso che siano necessari ma non sufficienti", ha detto il vincitore del Premio Turing a ZDNET a proposito delle ricerche dei suoi colleghi.
Questi includono modelli linguistici di grandi dimensioni come il GPT-3 basato su Transformer e simili. Come LeCun lo caratterizza, i devoti di Transformer credono: "Tokenizziamo tutto e addestriamo modelli giganteschiper fare previsioni discrete, e in qualche modo l'intelligenza artificiale emergerà da questo".
"Non hanno torto", dice, "nel senso che potrebbe essere un componente di un futuro sistema intelligente, ma penso che manchino pezzi essenziali".
È una critica sorprendente di ciò che sembra funzionare proveniente dallo studioso che ha perfezionato l'uso delle reti neurali convoluzionali, una tecnica pratica che è stata incredibilmente produttiva nei programmi di deep learning.
LeCun vede difetti e limiti in molte altre aree di grande successo della disciplina.
Anche l'apprendimento per rinforzo non sarà mai abbastanza, sostiene. Ricercatori come David Silver di DeepMind, che ha sviluppato il programma AlphaZero che padroneggia gli scacchi, lo Shogi e il Go, si stanno concentrando su programmi che sono "molto basati sull'azione", osserva LeCun, ma "la maggior parte dell'apprendimento che facciamo, non lo facciamo effettivamente agendo, lo facciamo osservando".
Lecun, 62 anni, da una prospettiva di decenni di successi, esprime tuttavia l'urgenza di affrontare quelli che pensa siano i vicoli ciechi verso i quali molti potrebbero precipitarsi, e di cercare di convincere il suo campo nella direzione in cui pensa che le cose dovrebbero andare.
"Vediamo molte affermazioni su cosa dovremmo fare per spingere verso un'intelligenza artificiale di livello umano", afferma. "E ci sono idee che penso siano mal indirizzate".
"Non siamo arrivati al punto in cui le nostre macchine intelligenti hanno tanto buon senso quanto un gatto", osserva Lecun. "Allora, perché non iniziamo da lì?"
Ha abbandonato la sua precedente fiducia nell'uso delle reti generative in cose come prevedere il fotogramma successivo in un video. "È stato un completo fallimento", dice.
LeCun condanna quelli che chiama i "probabilisti religiosi", che "pensano che la teoria della probabilità sia l'unico quadro che si può usare per spiegare l'apprendimento automatico".
L'approccio puramente statistico è intrattabile, dice. "È troppo chiedere a un modello del mondo di essere completamente probabilistico; Non sappiamo come farlo".
Non solo gli accademici, ma anche l'intelligenza artificiale industriale ha bisogno di un profondo ripensamento, sostiene LeCun. La folla delle auto a guida autonoma, startup come Wayve, sono state "un po' troppo ottimiste", dice, pensando di poter "lanciare dati a" grandi reti neurali "e si può imparare praticamente qualsiasi cosa".
"Sai, penso che sia del tutto possibile che avremo auto autonome di livello cinque senza buon senso", dice, riferendosi agli "ADAS", termini del sistema avanzato di assistenza alla guida per la guida autonoma, "ma dovrai ingegnerizzarlo al massimo".
Crede che questa tecnologia di guida autonoma sovra-ingegnerizzata sarà qualcosa di scricchiolante e fragile come tutti i programmi di visione artificiale che sono stati resi obsoleti dal deep learning.
"In definitiva, ci sarà una soluzione più soddisfacente e possibilmente migliore che coinvolge sistemi che fanno un lavoro migliore nel comprendere il modo in cui funziona il mondo".
Lungo la strada, LeCun offre alcune opinioni pungenti sui suoi più grandi critici, come il professore della NYU Gary Marcus - "non ha mai contribuito in alcun modo all'intelligenza artificiale" - e Jürgen Schmidhuber, co-direttore dell'Istituto Dalle Molle per la ricerca sull'intelligenza artificiale - "è molto facile piantare bandiere".
Al di là delle critiche, il punto più importante sollevato da LeCun è che tutti i problemi fondamentali affrontano tutta l'IA, in particolare come misurare le informazioni.
"Devi fare un passo indietro e dire: Ok, abbiamo costruito questa scala, ma vogliamo andare sulla luna, e non c'è modo che questa scala ci porti lì", dice LeCun del suo desiderio di stimolare un ripensamento dei concetti di base. "Fondamentalmente, quello che sto scrivendo qui è, abbiamo bisogno di costruire razzi, non posso darvi i dettagli di come costruiamo i razzi, ma qui ci sono i principi di base".
L'articolo, e i pensieri di LeCun nell'intervista, possono essere meglio compresi leggendo l'intervista di LeCun all'inizio di quest'anno con ZDNET in cui sostiene l'apprendimento auto-supervisionato basato sull'energia come un percorso da seguire per l'apprendimento profondo. Queste riflessioni danno il senso dell'approccio centrale a ciò che spera di costruire come alternativa alle cose che sostiene non arriveranno al traguardo.
Quella che segue è una trascrizione leggermente modificata dell'intervista.
ZDNET: L'argomento della nostra chiacchierata è questo articolo, "Un percorso verso l'intelligenza delle macchine autonome", di cui la versione 0.9.2 è la versione esistente, sì?
Yann LeCun: Sì, lo considero una sorta di documento di lavoro. Così, l'ho postato su Open Review, aspettando che le persone facessero commenti e suggerimenti, forse ulteriori riferimenti, e poi produrrò una versione rivista.
ZDNET: Vedo che Juergen Schmidhuber ha già aggiunto alcuni commenti a Open Review.
YL: Beh, sì, lo fa sempre. Cito uno dei suoi articoli nel mio articolo. Penso che le argomentazioni che ha fatto sui social network secondo cui ha praticamente inventato tutto questo nel 1991, come ha fatto in altri casi, non siano semplicemente vere. Voglio dire, è molto facile piantarebandiere, e scrivere un'idea senza esperimenti, senza alcuna teoria, suggerendo semplicemente che si potrebbe fare in questo modo. Ma, sai, c'è una grande differenza tra avere semplicemente l'idea, e poi farla funzionare su un problema di giocattoli, e poi farla funzionare su un problema reale, e poi fare una teoria che mostri perché funziona, e poi implementarla. C'è un'intera catena, e la sua idea di credito scientifico è che è la prima persona che ha avuto l'idea di questo, che dovrebbe avere tutto il merito. E questo è ridicolo.
(Aggiornamento: Jürgen Schmidhuber risponde: "LeCun sostiene che la mia 'idea di credito scientifico è che è la prima persona che ha avuto l'idea di questo, che dovrebbe avere tutto il merito'. In nessun universo questo è vero. Come ho scritto [DLC]: "l'inventore di un metodo importante dovrebbe avere il merito di averlo inventato. Potrebbe non essere sempre lei a renderlo popolare. Allora il divulgatore dovrebbe avere il merito di averlo reso popolare (ma non di averlo inventato)". LeCun, tuttavia, a quanto pare non è soddisfatto del merito di aver reso popolari le invenzioni di altri; vuole anche il merito dell 'inventore. Sta raddoppiando la sua posizione su una posizione insostenibile che è incompatibile con le regole di base universalmente accettate dell'integrità scientifica [T22].")
ZDNET: Non credere a tutto ciò che senti sui social media.
YL: Voglio dire, l'articolo principale che lui dice che dovrei citare non ha nessuna delle idee principali di cui parlo nell'articolo. Lo ha fatto anche con le GAN e altre cose, che non si sono rivelate vere. È facile piantare bandiere, è molto più difficile dare un contributo. E, a proposito, in questo particolare articolo, ho detto esplicitamente che questo non è un articolo scientifico nel senso comune del termine. È più un documento di posizione su dove dovrebbe andare questa cosa. E ci sono un paio di idee che potrebbero essere nuove, ma la maggior parte non lo è. Non sto rivendicando alcuna priorità sulla maggior parte di ciò che ho scritto in quell'articolo, essenzialmente.
(Aggiornamento: Schmidhuber risponde: "LeCun afferma su di me: '... l'articolo principale che dice che dovrei citare non ha nessuna delle idee principali di cui parlo nell'articolo". Questo non ha senso.Ho elencato non solo uno, ma diversi articoli rilevanti (tra cui [AC90][UN1][AC02][HRL1] [PLAN4]) che contengono la maggior parte di ciò che LeCun chiama esplicitamente i suoi "principali contributi originali" [LEC22a]. LeCun dice [LEC22c]: "Non sto rivendicando alcuna priorità sulla maggior parte di ciò che ho scritto in quel documento, essenzialmente.Tuttavia, ha elencato i suoi "principali contributi originari" [LEC22a] e io ho dimostrato che erano tutt'altro che [LEC]. LeCun afferma di me "Ha fatto questo anche con le GAN". Questa falsa affermazione non ha alcuna giustificazione e nessun riferimento. I miei NN generativi e contraddittori basati sul gradiente del 1990 [AC90-AC90b] descrivevano i principi di base (frequentemente citati, implementati e utilizzati) del GAN del 2014, il cui articolo [GAN1] non è riuscito ad assegnare correttamente il credito [T22]. La mia pubblicazione peer-reviewed [AC20] su questo argomento rimane incontestata. )
Anche l'apprendimento per rinforzo non sarà mai abbastanza, sostiene LeCun. Ricercatori come David Silver di DeepMind, che ha sviluppato il programma AlphaZero che padroneggia gli scacchi, lo Shogi e il Go, sono "molto basati sull'azione", osserva LeCun, ma "la maggior parte dell'apprendimento che facciamo, non lo facciamo agendo effettivamente, lo facciamo osservando".
ZDNET: E questo è forse un buon punto di partenza, perché sono curioso di sapere perché hai intrapreso questa strada ora? Cosa ti ha fatto pensare a questo? Perché hai voluto scrivere questo?
YL: Beh, quindi, ho pensato a questo per molto tempo, a un percorso verso l'intelligenza o l'apprendimento e le capacità a livello umano o animale. E, nei miei discorsi, sono stato piuttosto esplicito su tutta questa faccenda, che sia l'apprendimento supervisionato che l'apprendimento per rinforzo sono insufficienti per emulare il tipo di apprendimento che osserviamo negli animali e negli esseri umani. Faccio questo lavoro da qualcosa come sette o otto anni. Quindi, non è recente. Molti anni fa ho tenuto un keynote a NeurIPS in cui ho sottolineato questo punto, essenzialmente, e vari discorsi, ci sono registrazioni. Ora, perché scrivere un articolo ora? Sono arrivato al punto - [il ricercatore di Google Brain] Geoff Hinton aveva fatto qualcosa di simile - intendo, certamente, lui più di me, vediamo che il tempo sta per scadere. Non siamo giovani.
ZDNET: Sessanta è il nuovo cinquanta.
YL: È vero, ma il punto è che vediamo molte affermazioni su cosa dovremmo fare per spingerci verso il livello umano dell'IA. E ci sono idee che penso siano mal indirizzate. Quindi, un'idea è: Oh, dovremmo semplicemente aggiungere il ragionamento simbolico sopra le reti neurali. E non so come fare. Quindi, forse quello che ho spiegato nell'articolo potrebbe essere un approccio che farebbe la stessa cosa senza un'esplicita manipolazione dei simboli. Questo è il tipo di Gary Marcus tradizionalmente del mondo. Gary Marcus non è una persona di intelligenza artificiale, tra l'altro, è uno psicologo. Non ha mai contribuito in alcun modo all'intelligenza artificiale. Ha fatto un ottimo lavoro in psicologia sperimentale, ma non ha mai scritto un articolo peer-reviewed sull'intelligenza artificiale. Quindi, ci sono quelle persone.
(Aggiornamento: Gary Marcus confuta l'affermazione della mancanza di articoli sottoposti a revisione paritaria. Ha fornito via e-mail a ZDNet i seguenti articoli sottoposti a revisione paritaria: Ragionamento di buon senso sui contenitori che utilizzano informazioni radicalmente incomplete nell'intelligenza artificiale; Ragionamento da informazioni radicalmente incomplete: il caso dei contenitori in anticipo nel sistema a cremagliera; l'ambito e i limiti della simulazione nel ragionamento automatico nell'intelligenza artificiale; Ragionamento di buon senso e conoscenza del senso comune nelle comunicazioni dell'ACM; Ripensare il connessionismo eliminativo, Cog Psy)
C'è il David Silvers [ricercatore del principio di DeepMind] nel mondo che dice, sai, la ricompensa è sufficiente, fondamentalmente, si tratta di apprendimento per rinforzo, dobbiamo solo renderlo un po' più efficiente, ok? E penso che non abbiano torto, ma penso che i passi necessari per rendere l'apprendimento per rinforzo più efficiente, in sostanza, relegherebbero l'apprendimento per rinforzo a una sorta di ciliegina sulla torta. E la parte mancante principale è imparare come funziona il mondo, per lo più attraverso l'osservazione senza azione. L'apprendimento per rinforzo è molto basato sull'azione, si imparano cose sul mondo agendo e vedendo i risultati.
ZDNET: Ed è incentrato sulla ricompensa.
YL: È incentrato sulla ricompensa ed è anche incentrato sull'azione. Quindi, devi agire nel mondo per essere in grado di imparare qualcosa sul mondo. E l'affermazione principale che faccio nell'articolo sull'apprendimento auto-supervisionato è che la maggior parte dell'apprendimento che facciamo, non lo facciamo effettivamente agendo, lo facciamo osservando. Ed è molto poco ortodosso, sia per le persone che si occupano di apprendimento per rinforzo, in particolare, ma anche per molti psicologi e scienziati cognitivi che pensano che, sai, l'azione sia - non sto dicendo che l'azione non sia essenziale, è essenziale. Ma penso che la maggior parte di ciò che impariamo riguardi principalmente la struttura del mondo, e coinvolga, ovviamente, l'interazione, l'azione e il gioco, e cose del genere, ma molto di questo è osservativo.
ZDNET: Riuscirai anche a spuntare le persone dei Transformer, le persone che parlano prima della lingua, allo stesso tempo. Come si può costruire tutto questo senza prima il linguaggio? Potresti riuscire a spuntare molte persone.
YL: Sì, ci sono abituato. Quindi, sì, ci sono le persone che mettono al primo posto il linguaggio, che dicono, sai, l'intelligenza riguarda il linguaggio, il substrato dell'intelligenza è il linguaggio, bla, bla, bla. Ma questo, in un certo senso, respinge l'intelligenza animale. Sai, non siamo al punto in cui le nostre macchine intelligenti hanno tanto buon senso quanto un gatto. Allora, perché non iniziamo da lì? Cos'è che permette a un gatto di comprendere il mondo circostante, fare cose piuttosto intelligenti e pianificare cose del genere, e ai cani ancora meglio?
Poi ci sono tutte le persone che dicono: "Oh, l'intelligenza è una cosa sociale, giusto? Siamo intelligenti perché parliamo tra di noi e ci scambiamo informazioni, e bla, bla, bla. Ci sono tutti i tipi di specie non sociali che non incontrano mai i loro genitori che sono molto intelligenti, come i polpi o gli oranghi. Voglio dire, loro [gli oranghi] sono certamente educati dalla loro madre, ma non sono animali sociali.
Ma l'altra categoria di persone che potrei spuntare è quella di coloro che dicono che la scalabilità è sufficiente. Quindi, in pratica, usiamo solo giganteschi Transformer, li addestriamo su dati multimodali che coinvolgono, sai, video, testo, bla, bla, bla. Noi, in un certo senso, pietrifichiamotutto, e tokenizziamo tutto, e poi addestriamo modelli giganteschiper fare previsioni discrete, in pratica, e in qualche modo l'intelligenza artificiale emergerà da questo. Non hanno torto, nel senso che potrebbe essere un componente di un futuro sistema intelligente. Ma penso che manchino pezzi essenziali.
C'è un'altra categoria di persone che spunterò con questo articolo. E sono i probabilisti, i probabilisti religiosi. Quindi, le persone che pensano che la teoria della probabilità sia l'unico quadro che si può usare per spiegare l'apprendimento automatico. E come ho cercato di spiegare nell'articolo, è fondamentalmente troppo chiedere che un modello di mondo sia completamente probabilistico. Non sappiamo come fare. C'è l'intrattabilità computazionale. Quindi propongo di abbandonare l'intera idea. E naturalmente, sapete, questo è un enorme pilastro non solo dell'apprendimento automatico, ma di tutta la statistica, che sostiene di essere il normale formalismo per l'apprendimento automatico.
L'altra cosa -
ZDNET: Sei sulla buona strada...
E il motivo per cui è un completo fallimento è, ancora una volta, a causa dei vincoli dei modelli probabilistici in cui è relativamente facile prevedere token discreti come le parole perché possiamo calcolare la distribuzione di probabilità su tutte le parole nel dizionario. È facile. Ma se chiediamo al sistema di produrre la distribuzione di probabilità su tutti i possibili fotogrammi video, non abbiamo idea di come parametrizzarla, o abbiamo un'idea di come parametrizzarla, ma non sappiamo come normalizzarla. Colpisce un problema matematico intrattabile che non sappiamo come risolvere.
"Non siamo arrivati al punto in cui le nostre macchine intelligenti hanno tanto buon senso quanto un gatto", osserva Lecun. "Allora, perché non iniziamo da lì? Cos'è che permette a un gatto di comprendere il mondo circostante, fare cose piuttosto intelligenti e pianificare cose del genere, e ai cani ancora meglio?"
Quindi, ecco perché dico abbandoniamo la teoria della probabilità o il quadro per cose del genere, quello più debole, i modelli basati sull'energia. Ho sostenuto anche questo per decenni, quindi non è una cosa recente. Ma allo stesso tempo, abbandonando l'idea dei modelli generativi perché ci sono molte cose nel mondo che non sono comprensibili e non prevedibili. Se sei un ingegnere, lo chiami rumore. Se sei un fisico, lo chiami calore. E se sei una persona che si occupa di machine learning, li chiami, sai, dettagli irrilevanti o qualsiasi altra cosa.
Quindi, l'esempio che ho usato nell'articolo, o che ho usato nei discorsi, è: volete un sistema di previsione del mondo che aiuti in un'auto a guida autonoma, giusto? Vuole essere in grado di prevedere, in anticipo, le traiettorie di tutte le altre auto, cosa accadrà ad altri oggetti che potrebbero muoversi, pedoni, biciclette, un bambino che corre dietro a un pallone da calcio, cose del genere. Quindi, ogni genere di cose sul mondo. Ma ai bordi della strada, potrebbero esserci alberi, e oggi c'è vento, quindi le foglie si muovono al vento, e dietro gli alberi c'è uno stagno, e ci sono increspature nello stagno. E questi sono, essenzialmente, fenomeni in gran parte imprevedibili. Inoltre, non si desidera che il modello spenda una quantità significativa di risorse per prevedere quelle cose che sono sia difficili da prevedere che irrilevanti. Ecco perché sto sostenendo l'architettura di incorporamento congiunto, quelle cose in cui la variabile che stai cercando di modellare, non stai cercando di prevederla, stai cercando di modellarla, ma passa attraverso un codificatore, e quell'encoder può eliminare molti dettagli sull'input che sono irrilevanti o troppo complicati - in pratica, equivalente al rumore.
ZDNET: All'inizio di quest'anno abbiamo discusso dei modelli basati sull'energia, JEPA e H-JEPA. La mia sensazione, se ho capito bene, è che stai trovando il punto di bassa energia in cui queste due previsioni di incorporamenti X e Y sono più simili, il che significa che se c'è un piccione su un albero in uno, e c'è qualcosa sullo sfondo di una scena, questi potrebbero non essere i punti essenziali che rendono questi incorporamenti vicini l'uno all'altro.
YL: Giusto. Quindi, l'architettura JEPA cerca effettivamente di trovare un compromesso, un compromesso, tra l'estrazione di rappresentazioni che sono massimamente informative sugli input ma anche prevedibili l'una dall'altra con un certo livello di accuratezza o affidabilità. Trova un compromesso. Quindi, se ha la possibilità di scegliere tra spendere un'enorme quantità di risorse, inclusi i dettagli del movimento delle foglie, e poi modellare le dinamiche che decideranno come le foglie si muoveranno tra un secondo, o semplicemente lasciarle cadere sul pavimento semplicemente facendo passare la variabile Y attraverso un predittore che elimina tutti quei dettagli, Probabilmente lo eliminerà perché è troppo difficile da modellare e da catturare.
ZDNET: Una cosa che è sorprendente è che sei stato un grande sostenitore del dire "Funziona, scopriremo più tardi la teoria della termodinamica per spiegarlo". Qui hai adottato un approccio del tipo: "Non so come risolveremo necessariamente questo, ma voglio proporre qualche spunto per pensarci", e magari anche avvicinarmi a una teoria o a un'ipotesi, almeno. Questo è interessante perché ci sono molte persone che spendono un sacco di soldi lavorando su un'auto che può vedere il pedone indipendentemente dal fatto che l'auto abbia buon senso. E immagino che alcune di queste persone saranno, non spuntate, ma diranno: "Va bene, non ci interessa se non ha buon senso, abbiamo costruito una simulazione, la simulazione è incredibile, e continueremo a migliorare, continueremo a scalare la simulazione".
E quindi è interessante che ora tu sia nella posizione di dire, facciamo un passo indietro e pensiamo a quello che stiamo facendo. E l'industria sta dicendo che scaleremo, scaleremo, scaleremo, scaleremo, perché quella manovella funziona davvero. Voglio dire, la manovella dei semiconduttori delle GPU funziona davvero.
YL: Ci sono, tipo, cinque domande. Quindi, voglio dire, la scalabilità è necessaria. Non sto criticando il fatto che dovremmo scalare. Dovremmo scalare. Queste reti neurali migliorano man mano che diventano più grandi. Non c'è dubbio che dovremmo scalare. E quelli che avranno un certo livello di buon senso saranno grandi. Non c'è modo di evitarlo, credo. Quindi il ridimensionamento è buono, è necessario, ma non sufficiente. Questo è il punto che sto dicendo. Non si tratta solo di scalare. Questo è il primo punto.
Secondo punto, se la teoria viene prima e cose del genere. Quindi, penso che ci siano concetti che vengono prima di tutto, per cui devi fare un passo indietro e dire, ok, abbiamo costruito questa scala, ma vogliamo andare sulla luna e non c'è modo che questa scala ci porti lì. Quindi, in sostanza, quello che sto scrivendo qui è che abbiamo bisogno di costruire razzi. Non posso darvi i dettagli di come costruiamo i razzi, ma ecco i principi di base. E non sto scrivendo una teoria per questo o qualcosa del genere, ma, sarà un razzo, ok? O un ascensore spaziale o qualsiasi altra cosa. Potremmo non avere tutti i dettagli di tutta la tecnologia. Stiamo cercando di far funzionare alcune di queste cose, come ho fatto io su JEPA. L'incorporamento congiunto funziona molto bene per il riconoscimento delle immagini, ma per usarlo per addestrare un modello del mondo, ci sono difficoltà. Ci stiamo lavorando, speriamo di farlo funzionare presto, ma potremmo incontrare alcuni ostacoli che non possiamo superare, possibilmente.
Poi c'è un'idea chiave nel documento sul ragionamento in cui se vogliamo che i sistemi siano in grado di pianificare, che si può pensare come una semplice forma di ragionamento, devono avere variabili latenti. In altre parole, cose che non sono calcolate da alcuna rete neurale, ma cose che lo sono, il cui valore è dedotto in modo da minimizzare una funzione obiettivo, una funzione di costo. E poi è possibile utilizzare questa funzione di costo per guidare il comportamento del sistema. E questa non è affatto un'idea nuova, giusto? Questo è un controllo ottimale molto classico in cui la base di questo risale alla fine degli anni '50, inizio anni '60. Quindi, non rivendicando alcuna novità qui. Ma quello che sto dicendo è che questo tipo di inferenza deve essere parte di un sistema intelligente che è in grado di pianificare, e il cui comportamento può essere specificato o controllato non da un comportamento cablato, non dall'imitazione, ma da una funzione oggettiva che guida il comportamento - non guida l'apprendimento, necessariamente, ma guida il comportamento. Sai, ce l'abbiamo nel nostro cervello, e ogni animale ha un costo intrinseco o motivazioni intrinseche per le cose. Questo spinge i bambini di nove mesi a voler alzarsi in piedi. Il costo di essere felici quando ci si alza, quel termine nella funzione di costo è cablato. Ma il modo in cui ci si alza in piedi non lo è, questo è imparare.
"La scalabilità è buona, è necessaria, ma non sufficiente", afferma LeCun a proposito di modelli linguistici giganti come i programmi basati su Transformer della varietà GPT-3. I devoti di Transformer credono: "Tokenizziamo tutto e addestriamo modelli giganteschiper fare previsioni discrete, e in qualche modo l'intelligenza artificiale emergerà da questo... ma penso che manchino pezzi essenziali".
ZDNET: Giusto per completare questo punto, gran parte della comunità del deep learning sembra andare avanti con qualcosa che non ha buon senso. Sembra che tu stia facendo un argomento abbastanza chiaro qui che a un certo punto diventa un vicolo cieco. Alcune persone dicono: "Non abbiamo bisogno di un'auto autonoma con buon senso perché la scalabilità lo farà". Sembra che tu stia dicendo che non va bene continuare su quella strada?
YL: Sai, penso che sia del tutto possibile che avremo auto autonome di livello cinque senza buon senso. Ma il problema con questo approccio, questo sarà temporaneo, perché dovrai ingegnerizzarlo al massimo. Quindi, sapete, mappate il mondo intero, cablate tutti i tipi di comportamenti specifici per i casi d'angolo, raccogliete abbastanza dati da avere tutte le situazioni strane che potete incontrare sulle strade, bla, bla, bla. E la mia ipotesi è che con un investimento e un po' di tempo, si possa semplicemente progettare al massimo. Ma alla fine, ci sarà una soluzione più soddisfacente e forse migliore che coinvolge sistemi che fanno un lavoro migliore nel comprendere il modo in cui funziona il mondo, e hanno, sai, un certo livello di quello che chiameremmo buon senso. Non c'è bisogno di buon senso a livello umano, ma di un qualche tipo di conoscenza che il sistema può acquisire osservando, ma non guardando qualcuno guidare, semplicemente guardando le cose che si muovono e capendo molto sul mondo, costruendo una base di conoscenza di base su come funziona il mondo, oltre alla quale si può imparare a guidare.
Permettetemi di fare un esempio storico di questo. La visione artificiale classica si basava su molti moduli cablati e ingegnerizzati, in cima ai quali avresti avuto, in un certo senso, un sottile strato di apprendimento. Quindi, la roba che è stata battuta da AlexNet nel 2012, aveva fondamentalmente una prima fase, una sorta di estrazioni di funzionalità artigianali, come SIFT [Scale-Invariant Feature Transform (SIFT), una tecnica di visione classica per identificare gli oggetti salienti in un'immagine] e HOG [Histogram of Oriented Gradients, un'altra tecnica classica] e varie altre cose. E poi il secondo livello di, una sorta di funzionalità di livello intermedio basate su kernel di funzionalità e quant'altro, e una sorta di metodo non supervisionato. E poi, in cima a questo, si mette una macchina a vettori di supporto, oppure un classificatore relativamente semplice. E questo è stato, in un certo senso, l'oleodotto standard dalla metà degli anni 2000 al 2012. E questo è stato sostituito da reti convoluzionali end-to-end, in cui non si cabla nulla di tutto questo, si hanno solo un sacco di dati e si addestra la cosa da un capo all'altro, che è l'approccio che sostenevo da molto tempo, ma sai, fino ad allora, non era pratico per problemi di grandi dimensioni.
C'è stata una storia simile nel riconoscimento vocale dove, ancora una volta, c'era un'enorme quantità di ingegneria dettagliata per il modo in cui si pre-elaborano i dati, si estrae il cepstrum su scala di massa [un inverso della trasformata di Fourier veloce per l'elaborazione del segnale], e poi si hanno i modelli di Markov nascosti, con una sorta di architettura preimpostata, bla, bla, bla, bla, con una miscela di gaussiane. E quindi, è un po' la stessa architettura della visione in cui si ha un front-end realizzato a mano, e poi un livello intermedio un po' non supervisionato, addestrato, e poi un livello supervisionato in cima. E ora questo è stato, fondamentalmente, spazzato via dalle reti neurali end-to-end. Quindi sto vedendo qualcosa di simile lì, cercando di imparare tutto, ma devi avere il giusto primario, la giusta architettura, la giusta struttura.
La folla delle auto a guida autonoma, startup come Waymo e Wayve, sono state "un po' troppo ottimiste", dice, pensando di poter "gettare dati su di esso, e si può imparare praticamente qualsiasi cosa". Le auto a guida autonoma al livello 5 di ADAS sono possibili, "ma dovrai ingegnerizzarle al massimo" e il risultato sarà "fragile" come i primi modelli di visione artificiale.
ZDNET: Quello che stai dicendo è che alcune persone cercheranno di ingegnerizzare ciò che attualmente non funziona con il deep learning per l'applicabilità, ad esempio, nell'industria, e inizieranno a creare qualcosa che è diventato obsoleto nella visione artificiale?
YL: Esatto. Ed è in parte il motivo per cui le persone che lavorano sulla guida autonoma sono state un po' troppo ottimiste negli ultimi anni, è perché, sai, hai queste cose generiche come le reti convoluzionali e i trasformatori, su cui puoi lanciare dati e può imparare praticamente qualsiasi cosa. Quindi, dici, Ok, ho la soluzione a questo problema. La prima cosa che fai è costruire una demo in cui l'auto si guida da sola per alcuni minuti senza ferire nessuno. E poi ti rendi conto che ci sono molti casi d'angolo, e provi a tracciare la curva di quanto sto migliorando man mano che raddoppio il set di allenamento, e ti rendi conto che non ci arriverai mai perché ci sono tutti i tipi di casi d'angolo. E devi avere un'auto che causi un incidente mortale meno di ogni 200 milioni di chilometri, giusto? Allora, cosa fai? Beh, si cammina in due direzioni.
La prima direzione è: come posso ridurre la quantità di dati necessari per l'apprendimento del mio sistema? Ed è qui che entra in gioco l'apprendimento auto-supervisionato. Quindi, molte aziende di auto a guida autonoma sono molto interessate all'apprendimento auto-supervisionato perché è un modo per utilizzare ancora enormi quantità di dati di supervisione per l'apprendimento per imitazione, ma ottenere prestazioni migliori grazie al pre-allenamento, essenzialmente. E non ha ancora funzionato del tutto, ma lo farà. E poi c'è l'altra opzione, che la maggior parte delle aziende che sono più avanzate a questo punto hanno adottato, che è, ok, possiamo fare la formazione end-to-end, ma ci sono molti casi limite che non possiamo gestire, quindi progetteremo solo sistemi che si prenderanno cura di quei casi limite, E, fondamentalmente, trattarli come casi speciali, e cablare il controllo, e poi cablare un sacco di comportamenti di base per gestire situazioni speciali. E se hai un team di ingegneri abbastanza grande, potresti farcela. Ma ci vorrà molto tempo e, alla fine, sarà ancora un po' fragile, forse abbastanza affidabile da poter essere implementato, ma con un certo livello di fragilità che, con un approccio più basato sull'apprendimento che potrebbe apparire in futuro, le auto non avranno perché potrebbero avere un certo livello di buon senso e comprensione di come funziona il mondo.
A breve termine, l'approccio ingegnerizzato vincerà - vince già. Questo è il Waymo e il Cruise del mondo e Wayvee qualsiasi altra cosa, questo è quello che fanno. Poi c'è l'approccio di apprendimento auto-supervisionato, che probabilmente aiuterà l'approccio ingegnerizzato a fare progressi. Ma poi, a lungo termine, che potrebbe essere troppo lungo da aspettare per quelle aziende, sarebbe probabilmente un sistema di guida intelligente autonomo più integrato.
ZDNET: Diciamo oltre l'orizzonte di investimento della maggior parte degli investitori.
YL: Esatto. Quindi, la domanda è: le persone perderanno la pazienza o finiranno i soldi prima che le prestazioni raggiungano il livello desiderato.
ZDNET: C'è qualcosa di interessante da dire sul perché avete scelto alcuni degli elementi che avete scelto nel modello? Perché citi Kenneth Craik [1943, The Nature of Explanation], e citi Bryson e Ho [1969, Applied optimal control], e sono curioso di sapere perché hai iniziato con queste influenze, se credevi soprattutto che queste persone l'avessero inchiodato fino a ciò che avevano fatto. Perché hai iniziato lì?
YL: Beh, non credo, certamente, che avessero tutti i dettagli inchiodati. Allora, Bryson e Ho, questo è un libro che ho letto nel 1987 quando ero postdoc con Geoffrey Hinton a Toronto. Ma conoscevo questa linea di lavoro in anticipo quando stavo scrivendo il mio dottorato di ricerca, e ho fatto il collegamento tra controllo ottimale e backprop, essenzialmente. Se voleste davvero essere, sapete, un altro Schmidhuber, direste che i veri inventori del backprop furono in realtà i teorici del controllo ottimale Henry J. Kelley, Arthur Bryson e forse anche Lev Pontryagin, che è un teorico russo del controllo ottimale alla fine degli anni '50.
Così, l'hanno capito, e in effetti, si può effettivamente vedere la radice di questo, la matematica sottostante, è la meccanica lagrangiana. Quindi si può tornare a Eulero e Lagrange, in effetti, e trovare un soffio di questo nella loro definizione di meccanica classica lagrangiana, davvero. Quindi, nel contesto del controllo ottimale, ciò che interessava a questi ragazzi era fondamentalmente calcolare le traiettorie dei razzi. Sai, questa era la prima era spaziale. E se avete un modello del razzo, vi dice che qui è lo stato del razzo al tempo t, e qui è l'azione che sto per intraprendere, quindi, spinta e attuatori di vario tipo, ecco lo stato del razzo al tempo t+1.
ZDNET: un modello di azione di stato, un modello di valore.
YL: Esatto, la base del controllo. Quindi, ora puoi simulare il lancio del tuo razzo immaginando una sequenza di comandi, e poi hai una funzione di costo, che è la distanza del razzo dal suo bersaglio, una stazione spaziale o qualunque cosa sia. E poi, con una sorta di discesa del gradiente, si può capire come posso aggiornare la mia sequenza d'azione in modo che il mio razzo si avvicini il più possibile al bersaglio. E questo deve avvenire attraverso la retropropagazione dei segnali a ritroso nel tempo. E questa è la retropropagazione, la retropropagazione a gradiente. Questi segnali, sono chiamati variabili coniugate nella meccanica lagrangiana, ma in realtà sono gradienti. Così, hanno inventato il backprop, ma non si rendevano conto che questo principio poteva essere utilizzato per addestrare un sistema a più stadi in grado di eseguire il riconoscimento di modelli o qualcosa del genere. Questo non è stato veramente realizzato fino alla fine degli anni '70, all'inizio degli anni '80, e poi non è stato effettivamente implementato e fatto funzionare fino alla metà degli anni '80. Ok, quindi, è qui che il backprop è decollato, in un certo senso, perché le persone hanno mostrato che qui ci sono alcune righe di codice che si possono addestrare una rete neurale, end-to-end, multistrato. E questo solleva i limiti del Percettrone. E, sì, ci sono connessioni con un controllo ottimale, ma va bene così.
ZDNET: Quindi, questo è un lungo modo per dire che queste influenze con cui hai iniziato sono tornate al backprop, e questo è stato importante come punto di partenza per te?
YL: Sì, ma penso che quello che la gente ha un po' dimenticato, c'è stato un bel po' di lavoro su questo, sai, negli anni '90, o anche negli anni '80, anche da parte di persone come Michael Jordan [MIT Dept. of Brain and Cognitive Sciences] e persone del genere che non fanno più reti neurali, Ma l'idea che si possano usare le reti neurali per il controllo, e si possano usare le idee classiche di controllo ottimale. Quindi, cose come quello che viene chiamato controllo predittivo del modello, quello che ora viene chiamato controllo predittivo del modello, l'idea che si possa simulare o immaginare il risultato di una sequenza di azioni se si dispone di un buon modello del sistema che si sta cercando di controllare e dell'ambiente in cui si trova. E poi, con la discesa del gradiente, essenzialmente - questo non è apprendimento, questa è inferenza - si può capire qual è la migliore sequenza di azioni che minimizzerà il mio obiettivo. Quindi, l'uso di una funzione di costo con una variabile latente per l'inferenza è, credo, qualcosa che le attuali colture di reti neurali su larga scala hanno dimenticato. Ma per molto tempo è stata una componente molto classica dell'apprendimento automatico. Quindi, ogni rete bayesiana o modello grafico o modello grafico probabilistico utilizzava questo tipo di inferenza. Si dispone di un modello che cattura le dipendenze tra un gruppo di variabili, viene indicato il valore di alcune variabili e quindi è necessario dedurre il valore più probabile del resto delle variabili. Questo è il principio di base dell'inferenza nei modelli grafici e nelle reti bayesiane, e cose del genere. E penso che questo sia fondamentalmente ciò che dovrebbe essere il ragionamento, il ragionamento e la pianificazione.
ZDNET: Sei un bayesiano nascosto.
YL: Sono un bayesiano non probabilistico. Ho già fatto quella battuta in passato. In realtà ero a NeurIPS qualche anno fa, credo fosse nel 2018 o nel 2019, e sono stato ripreso in video da un bayesiano che mi ha chiesto se fossi bayesiano, e io ho detto, sì, sono un bayesiano, ma sono un bayesiano non probabilistico, una specie di bayesiano basato sull'energia, se vuoi.
ZDNET: Che sicuramente suona come qualcosa di Star Trek. Alla fine di questo articolo hai detto che ci vorranno anni di duro lavoro per realizzare ciò che immagini. Dimmi in cosa consiste parte di quel lavoro al momento.
YL: Quindi, spiego come si forma e si costruisce la JEPA nel documento. E il criterio che sto sostenendo è avere un modo per massimizzare il contenuto informativo che le rappresentazioni che vengono estratte hanno riguardo all'input. E poi il secondo è ridurre al minimo l'errore di previsione. E se nel predittore è presente una variabile latente che gli permette di essere non deterministico, è necessario regolarizzare anche questa variabile latente minimizzando il suo contenuto informativo. Quindi, ora ci sono due problemi, ovvero come massimizzare il contenuto informativo dell'output di una rete neurale, e l'altro è come minimizzare il contenuto informativo di una variabile latente? E se non si fanno queste due cose, il sistema crollerà. Non imparerà nulla di interessante. Darà energia zero a tutto, qualcosa del genere, che non è un buon modello di dipendenza. È il problema della prevenzione dei crolli che ho menzionato.
E sto dicendo che di tutte le cose che le persone hanno mai fatto, ci sono solo due categorie di metodi per prevenire il collasso. Uno sono i metodi contrastivi e l'altro sono i metodi regolarizzati. Quindi, questa idea di massimizzare il contenuto informativo delle rappresentazioni dei due input e minimizzare il contenuto informativo della variabile latente, appartiene ai metodi regolarizzati. Ma gran parte del lavoro in queste architetture di incorporamento congiunto utilizza metodi contrastivi. In effetti, sono probabilmente i più popolari al momento. Quindi, la domanda è: come si misura il contenuto informativo in modo da poter ottimizzare o minimizzare? Ed è qui che le cose si complicano perché non sappiamo effettivamente come misurare il contenuto informativo. Possiamo approssimarlo, possiamo limitarlo, possiamo fare cose del genere. Ma in realtà non misurano il contenuto informativo, che, in realtà, in una certa misura non è nemmeno ben definito.
ZDNET: Non è la legge di Shannon? Non è teoria dell'informazione? C'è una certa quantità di entropia, entropia buona ed entropia cattiva, e l'entropia buona è un sistema di simboli che funziona, l'entropia cattiva è il rumore. Non è tutto risolto da Shannon?
YL: Hai ragione, ma c'è un grosso difetto dietro. Hai ragione nel senso che se hai dei dati che ti arrivano e puoi in qualche modo quantizzare i dati in simboli discreti, e poi misuri la probabilità di ciascuno di quei simboli, allora la quantità massima di informazioni trasportate da quei simboli è la somma dei possibili simboli di Pi log Pi, A destra? Dove Pi greco è la probabilità del simbolo i, questa è l'entropia di Shannon. [La legge di Shannon è comunemente formulata come H=- ∑ pi log pi.]
Ecco il problema, però: cos'è il Pi greco? È facile quando il numero di simboli è piccolo e i simboli vengono disegnati in modo indipendente. Quando ci sono molti simboli e dipendenze, è molto difficile. Quindi, se si dispone di una sequenza di bit e si assume che i bit siano indipendenti l'uno dall'altro e che la probabilità sia uguale tra uno e zero o qualsiasi altra cosa, allora si può facilmente misurare l'entropia, senza problemi. Ma se le cose che vi arrivano sono vettori ad alta dimensione, come, sapete, fotogrammi video, o qualcosa del genere, cos'è il Pi greco? Qual è la distribuzione? Per prima cosa bisogna quantizzare quello spazio, che è uno spazio continuo ad alta dimensione. Non hai idea di come quantizzarlo correttamente. Puoi usare k-means, ecc. Questo è ciò che le persone fanno quando fanno la compressione video e la compressione delle immagini. Ma è solo un'approssimazione. E poi bisogna fare supposizioni di indipendenza. Quindi, è chiaro che in un video, i fotogrammi successivi non sono indipendenti. Ci sono dipendenze, e quel fotogramma potrebbe dipendere da un altro fotogramma che avete visto un'ora fa, che era un'immagine della stessa cosa. Quindi, sai, non puoi misurare il Pi greco. Per misurare il Pi greco, è necessario disporre di un sistema di apprendimento automatico che impari a prevedere. E così si torna al problema precedente. Quindi, puoi solo approssimare la misura dell'informazione, essenzialmente.
"La domanda è: come si misura esattamente il contenuto informativo in modo da poter ottimizzare o minimizzare?", afferma LeCun. "Ed è qui che le cose si complicano perché non sappiamo effettivamente come misurare il contenuto informativo". Il meglio che si può fare finora è trovare un proxy che sia "abbastanza buono per il compito che vogliamo".
Consentitemi di fare un esempio più concreto. Uno degli algoritmi con cui abbiamo giocato, e di cui ho parlato nell'articolo, è questa cosa chiamata VICReg, regolarizzazione varianza-invarianza-covarianza. Si trova in un articolo separato che è stato pubblicato dall'ICLR ed è stato messo su arXiv circa un anno prima, nel 2021. E l'idea è quella di massimizzare le informazioni. E l'idea in realtà è venuta fuori da un precedente articolo del mio gruppo chiamato Barlow Twins. Si massimizza il contenuto informativo di un vettore che esce da una rete neurale, fondamentalmente, assumendo che l'unica dipendenza tra le variabili sia la correlazione, la dipendenza lineare. Quindi, se si assume che l'unica dipendenza possibile tra coppie di variabili, o tra variabili nel proprio sistema, sia la correlazione tra coppie di oggetti di valore, che è l'approssimazione estremamente approssimativa, allora è possibile massimizzare il contenuto di informazioni che escono dal sistema assicurandosi che tutte le variabili abbiano una varianza diversa da zero, diciamo, varianza uno, non importa cosa sia, e poi correlarli a ritroso, lo stesso processo che si chiama sbiancamento, non è nemmeno nuovo.
Il problema con questo è che si possono benissimo avere dipendenze estremamente complesse tra gruppi di variabili o anche solo coppie di variabili che non sono dipendenze lineari, e non vengono visualizzate nelle correlazioni. Quindi, per esempio, se avete due variabili, e tutti i punti di queste due variabili si allineano in una sorta di spirale, c'è una dipendenza molto forte tra queste due variabili, giusto? Ma in realtà, se si calcola la correlazione tra queste due variabili, non sono correlate. Quindi, ecco un esempio in cui il contenuto informativo di queste due variabili è in realtà molto piccolo, è solo una quantità perché è la tua posizione nella spirale. Sono de-correlate, quindi si pensa di avere un sacco di informazioni provenienti da queste due variabili quando in realtà non è così, si ha solo, sai, si può prevedere una delle variabili dall'altra, essenzialmente. Quindi, questo dimostra che abbiamo solo modi molto approssimativi per misurare il contenuto informativo.
ZDNET: E quindi questa è una delle cose su cui devi lavorare ora con questo? Questa è la domanda più ampia: come facciamo a sapere quando stiamo massimizzando e minimizzando il contenuto informativo?
YL: O se il proxy che stiamo usando per questo è abbastanza buono per il compito che vogliamo. In effetti, lo facciamo sempre nell'apprendimento automatico. Le funzioni di costo che minimizziamo non sono mai quelle che vogliamo effettivamente minimizzare. Quindi, per esempio, vuoi fare la classificazione, ok? La funzione di costo che si desidera ridurre al minimo quando si esegue il training di un classificatore è il numero di errori commessi dal classificatore. Ma questa è una funzione di costo orribile e non differenziabile che non si può minimizzare perché, sai, cambierai i pesi della tua rete neurale, nulla cambierà fino a quando uno di quei campioni non capovolgerà la sua decisione, e poi un salto nell'errore, positivo o negativo.
ZDNET: Quindi hai un proxy che è una funzione oggettiva che puoi sicuramente dire, possiamo sicuramente far fluire i gradienti di questa cosa.
YL: Esatto. Quindi le persone usano questa perdita di entropia incrociata, o SOFTMAX, hai diversi nomi per questo, ma è la stessa cosa. E fondamentalmente è un'approssimazione graduale del numero di errori che il sistema commette, dove lo smoothing viene fatto, fondamentalmente, tenendo conto del punteggio che il sistema assegna a ciascuna delle categorie.
ZDNET: C'è qualcosa che non abbiamo trattato e che vorreste trattare?
YL: Probabilmente sta enfatizzando i punti principali. Penso che i sistemi di intelligenza artificiale debbano essere in grado di ragionare, e il processo per questo che sto sostenendo è ridurre al minimo alcuni obiettivi rispetto a qualche variabile latente. Ciò consente ai sistemi di pianificare e ragionare. Penso che dovremmo abbandonare il quadro probabilistico perché è intrattabile quando vogliamo fare cose come catturare le dipendenze tra variabili continue ad alta dimensione. E sto sostenendo l'abbandono dei modelli generativi perché il sistema dovrà dedicare troppe risorse alla previsione di cose che sono troppo difficili da prevedere e forse consumare troppe risorse. E questo è praticamente tutto. Questi sono i messaggi principali, se volete. E poi l'architettura complessiva. Poi ci sono quelle speculazioni sulla natura della coscienza e sul ruolo del configuratore, ma questa è davvero speculazione.
ZDNET: Ci arriveremo la prossima volta. Stavo per chiederti, come si fa a confrontare questa cosa? Ma immagino che tu sia un po' più lontano dal benchmarking in questo momento?
YL: Non necessariamente così lontano nelle versioni semplificate. Si può fare quello che tutti fanno nel controllo o nell'apprendimento per rinforzo, cioè addestrare la cosa a giocare ai giochi Atari o qualcosa del genere o qualche altro gioco che ha qualche incertezza in esso.
ZDNET: Grazie per il tuo tempo, Yann.