L'intelligenza artificiale ha causato una rinascita della ricerca e sviluppo dell'industria tecnologica, afferma il capo scienziato dell'intelligenza artificiale di Meta
Ci sono già molte applicazioni commerciali promettenti che possono portare ad un aumento della produttività, ma, in ultima analisi, l'IA deve sviluppare la capacità di pianificare se vuole davvero progredire, afferma Yann LeCun.
La forza dell'era del deep learning dell'intelligenza artificiale ha portato a una sorta di rinascita della ricerca e sviluppo aziendale nella tecnologia dell'informazione, secondo Yann LeCun, chief AI scientist di Meta.
"Il tipo di tecniche su cui abbiamo lavorato ha avuto un impatto commerciale molto più grande, molto più ampio", rispetto alle epoche precedenti dell'intelligenza artificiale, ha detto LeCun durante una piccola riunione di stampa e dirigenti via Zoom questo mese.
"E il risultato di questo è che ha attirato molti finanziamenti per la ricerca e, di fatto, ha causato un rinnovamento della ricerca industriale".
Non più tardi di vent'anni fa, ha detto LeCun, Microsoft Research era l'unica entità industriale che "aveva un qualche tipo di statura nella tecnologia dell'informazione". Ma poi, ha detto LeCun, gli anni 2010 hanno visto "Google Research venire davvero alla ribalta, e FAIR [Facebook AI Research], che ho creato, e un paio di altri laboratori in fase di avvio, e fondamentalmente rilanciare l'idea che l'industria potrebbe fare ricerca fondamentale".
Questa rinascita della ricerca e sviluppo aziendale sta avvenendo, ha detto LeCun, "perché la prospettiva di ciò che potrebbe accadere in futuro, e di ciò che accadrà nel presente, grazie a queste tecnologie, è grande".
Il valore dell'IA applicata, ha affermato LeCun, sta portando a un sistema a doppio binario, in cui la ricerca e lo sviluppo aziendale mantengono progetti a lungo raggio, e poi un altro percorso che incanala la ricerca in applicazioni pratiche dei prodotti.
"Ha perfettamente senso per un'azienda come Meta avere, allo stesso tempo, un grande laboratorio di ricerca che ha obiettivi ambiziosi a lungo termine come la creazione di assistenti virtuali intelligenti con intelligenza di livello umano, perché è quello che vogliamo, in definitiva; Ma allo stesso tempo, la tecnologia che è stata sviluppata è già utile.
"Ad esempio, la moderazione dei contenuti e il rilevamento del parlato in più lingue sono stati completamente rivoluzionati negli ultimi due o tre anni in generale, i Transformers si sono pre-addestrati in modo auto-supervisionato", ha detto LeCun, riferendosi al programma di elaborazione del linguaggio naturale Transformer di Google, introdotto nel 2017, che è diventato la base per numerosi programmi come ChatGPT di OpenAI.
"Ha fatto progressi enormi, progressi incredibili, ed è dovuto alle ultime ricerche sull'intelligenza artificiale", ha affermato LeCun.
LeCun è stato invitato a parlare per un'ora e mezza ospitata da Collective[i] Forecast, una serie di discussioni online interattive organizzate da Collective[i], che si autodefinisce "una piattaforma di intelligenza artificiale progettata per ottimizzare le vendite B2B".
LeCun stava rispondendo a una domanda di ZDNET sull'effetto che l'interesse senza precedenti per l'IA da parte dell'industria e del commercio sta avendo sulla scienza di base dell'IA.
LeCun si è descritto come "ottimista" sulla capacità di utilizzare l'IA applicata per il bene della società. Anche quando l'IA non riesce a raggiungere alcuni obiettivi, produce effetti che possono essere benefici, ha indicato.
LeCun ha offerto l'esempio dei sistemi di veicoli autonomi che, pur non essendo veramente autonomi, hanno avuto il dividendo di fornire caratteristiche di sicurezza stradale che salvano vite umane.
"Ogni auto che esce in Europa ora deve essere dotata di un sistema di frenata automatica di emergenza, l'ABS", ha osservato LeCun. "Non è richiesto negli Stati Uniti. Ma molte auto ce l'hanno".
Gli ABS, ha osservato, sono "gli stessi sistemi che consentono anche all'auto di guidarsi da sola in autostrada, giusto?" Il meccanismo di frenatura riduce le collisioni del 40%, ha osservato. "Quindi, nonostante tutto ciò di cui si sente parlare, sai, della Tesla che si è scontrata con un camion o qualsiasi altra cosa, queste cose salvano assolutamente vite umane, al punto che sono necessarie".
LeCun ha anche offerto volontario "una delle cose che trovo piuttosto promettenti sull'intelligenza artificiale è l'uso dell'intelligenza artificiale nella scienza e nella medicina in questo momento" per migliorare la vita delle persone.
"Ci sono molti sistemi sperimentali, alcune centinaia dei quali hanno ottenuto l'approvazione della FDA, che migliorano l'affidabilità della diagnosi da risonanza magnetica e raggi X e varie altre cose per una serie di disturbi diversi", ha detto LeCun. "Questo avrà un enorme impatto sulla salute".
Queste scoperte, sebbene positive, sono piccole, ha detto, rispetto alla "cosa più grande", vale a dire "il modo in cui l'intelligenza artificiale viene utilizzata per la scienza in futuro.
"Abbiamo sistemi in grado di ripiegare le proteine, ora abbiamo sistemi che sarebbero in grado di progettare proteine per aderire a un particolare sito, il che significa che possiamo progettare farmaci in un modo completamente diverso da quello che abbiamo fatto in passato", ha detto LeCun.
L'intelligenza artificiale ha anche "un enorme potenziale per il progresso nella scienza dei materiali", ha affermato LeCun. "E ne avremo bisogno perché dobbiamo risolvere il cambiamento climatico, quindi dobbiamo essere in grado di avere batterie ad alta capacità che non costino una fortuna e non richiedano l'uso di materiali esotici che possiamo trovare solo in un posto".
LeCun ha citato uno di questi progetti di materiali, Open Catalyst, fondato dai colleghi di FAIR, che collabora con la Carnegie Mellon University per applicare l'intelligenza artificiale allo sviluppo di "nuovi catalizzatori da utilizzare nello stoccaggio di energia rinnovabile per aiutare ad affrontare il cambiamento climatico".
"L'idea è, se potessimo coprire un piccolo deserto con pannelli fotovoltaici e poi immagazzinare l'energia che viene utilizzata da quei pannelli, ad esempio, sotto forma di idrogeno o metano", ha spiegato LeCun. Gli attuali approcci per lo stoccaggio di idrogeno o metano, ha detto, sono "scalabili o efficienti, ma non entrambi".
"Potremmo scoprire, magari utilizzando l'aiuto dell'intelligenza artificiale, un nuovo catalizzatore che renderebbe quel processo più efficiente o scalabile senza richiedere un nuovo materiale esotico? Potrebbe non funzionare, ma vale la pena provare".
Nonostante queste numerose e promettenti applicazioni commerciali, LeCun ha suggerito che la ristrettezza degli usi industriali non è all'altezza dell'obiettivo più grande dell'IA, la ricerca di un'intelligenza a livello animale o umano.
Gli enormi progressi della ricerca alla base delle applicazioni odierne, cose come i Transformers, sono stati resi possibili nell'era del deep learning da una disponibilità senza precedenti di dati e calcolo, ha detto LeCun, mentre i progressi scientifici fondamentali non sono sempre stati così abbondanti o così ricchi.
"Ciò che ha causato l'ondata più recente sono, in primo luogo, alcuni progressi concettuali - ma, francamente, non una quantità enorme, e non così impressionante - ma, in realtà, la quantità di dati disponibili e la quantità di calcolo che ha reso possibile scalare quei sistemi".
Cose come i modelli linguistici di grandi dimensioni, come GPT-3, il programma per computer su cui si basa ChatGPT, sono la prova che il ridimensionamento dell'intelligenza artificiale, ovvero l'aggiunta di più livelli di parametri regolabili, migliora direttamente le prestazioni dei programmi. "Si scopre che funzionano molto bene quando li si scala", ha detto di GPT-3 e simili.
L'industria potrebbe riscontrare rendimenti decrescenti a un certo punto, ha detto LeCun, facendo affidamento solo sulla scalabilità senza esplorare altre strade.
"Molte aziende come OpenAI, in particolare, lo hanno usato come mantra, basta ingrandire le cose e funzionerà meglio", ha detto. "Ma penso che stiamo raggiungendo i limiti di questo in questo momento".
Nonostante la scalabilità di modelli sempre più grandi, ha affermato LeCun, "Non sembra che siamo in grado di addestrare un sistema [automobilistico] a guida autonoma completamente autonomo semplicemente, sai, addestrando reti neurali più grandi su più dati; Sembra che non ci arrivi".
Per quanto impressionanti, programmi come ChatGPT, che LeCun ha definito "non particolarmente innovativo" e "niente di rivoluzionario", non riescono ad avere una capacità di pianificazione, ha detto.
"Sono completamente reattivi", ha detto LeCun. "Dai loro un contesto di poche migliaia di parole", il che significa il prompt digitato dall'uomo, "E poi da quello, il sistema genera semplicemente il token successivo, in modo completamente reattivo".
"Non c'è pianificazione in anticipo o scomposizione di un compito complesso in compiti più semplici, è solo reattivo", ha detto LeCun.
LeCun ha offerto l'esempio del programma OpenAI Co-Pilot, che è stato integrato da Microsoft nella piattaforma di gestione del codice GitHub. "C'è una limitazione molto grave di tali sistemi", ha detto. "Vengono utilizzati, fondamentalmente, come una tastiera predittiva sotto steroidi".
"Inizi a scrivere il tuo programma e fai una descrizione di ciò che dovrebbe fare nei commenti, e hai strumenti basati su modelli linguistici di grandi dimensioni che completeranno il programma", ha spiegato.
Tale completamento automatico è come il cruise control nelle auto che aiuta con la guida in autostrada. "Le mani devono rimanere sempre sul volante" perché Co-Pilot può generare errori nel codice senza rendersene conto.
"La domanda è: come possiamo ottenere da sistemi che generano codice che a volte viene eseguito ma a volte no", ha detto LeCun. "E la risposta a questa domanda è che tutti questi sistemi oggi non sono in grado di pianificare; Sono completamente reattivi".
"E questo non è ciò di cui hai bisogno per un comportamento intelligente".
Piuttosto, ha detto LeCun, "se si vuole un comportamento intelligente, è necessario un sistema che sia in grado di anticipare l'effetto delle proprie azioni", oltre ad avere "una sorta di modello interno del mondo, un modello mentale di come il mondo cambierà come conseguenza delle proprie azioni".
LeCun ha delineato un articolo di riflessione la scorsa estate sulla necessità di programmi con una capacità di pianificazione, qualcosa di cui ha discusso a lungo con ZDNET a settembre.
Finora, la rinascita della ricerca e sviluppo nel settore delle tecnologie informatiche aziendali non ha ancora portato al risultato più apprezzato della tecnologia, la produttività, ha affermato LeCun, ma ciò potrebbe avvenire nel prossimo decennio.
Citando il lavoro del ricercatore Erik Brynjolfsson del gruppo Human-Centered Artificial Intelligence della Stanford University, LeCun ha osservato che gli economisti considerano l'IA una "tecnologia generica", ovvero qualcosa che "si diffonderà lentamente in tutti gli angoli dell'economia e dell'industria e sostanzialmente influenzerà tutta l'attività economica" con vari effetti come la creazione di nuovi posti di lavoro. sostituire altri posti di lavoro, ecc., "e portare a un aumento della produttività perché favorisce l'innovazione". In altre parole, l'innovazione che si basa sull'innovazione è l'equivalente economico della produttività.
"Quello che Eric, in particolare, ha detto è che, almeno fino a poco tempo fa, non abbiamo osservato un aumento della produttività dovuto all'intelligenza artificiale e, storicamente, dice che ci vogliono circa 15, 20 anni per vedere un effetto misurabile sulla produttività di una rivoluzione tecnologica.
"Quindi, secondo la sua previsione, questo probabilmente accadrà nei prossimi dieci anni".
La rinascita della ricerca e sviluppo di base delle aziende nel campo della tecnologia dell'informazione potrebbe avere una certa resistenza, data la sua attrattiva per i giovani studiosi, ha indicato LeCun.
"Penso che un fenomeno che abbiamo osservato sia che i giovani di talento ora aspirano a diventare ricercatori di intelligenza artificiale perché è la cosa più bella da fare, mentre prima le stesse persone sarebbero andate a finanziare", ha detto LeCun. "È meglio per loro andare alla scienza, credo".