Il futuro dell'intelligenza artificiale è una storia di software, afferma il CEO di Graphcore

Sebbene noto per l'enorme hardware dei computer, il produttore di computer AI Graphcore ha siti pronti a combattere con Nvidia per gli ecosistemi software, afferma il CEO Nigel Toon.

"Probabilmente siamo ancora nella fase di Pac Man, non siamo ancora arrivati ai giochi tridimensionali", per quanto riguarda l'evoluzione dell'intelligenza artificiale, afferma il CEO di Graphcore Nigel Toon.

"L'idea sbagliata qui è che questo sia tanto, se non di più, un problema software da risolvere che un problema hardware", ha detto Nigel Toon, amministratore delegato della startup di computer AI Graphcore. 

Graphcore è noto per la realizzazione di un sistema informatico che ha centinaia di migliaia di core di processore all'interno di ogni chip "unità di elaborazione dell'intelligenza", o IPU, per risolvere i problemi di intelligenza artificiale. 

Le sue ultime macchine hanno un chip IPU, "Bow", che consiste in due die di semiconduttori impilati uno sopra l'altro.

Eppure, Toon, che era in città la scorsa settimana dal quartier generale di Graphcore a Bristol, in Inghilterra, ha detto a ZDNet che il software è al centro della grande sfida dei problemi di intelligenza artificiale sempre più grandi, mentre l'hardware, sebbene non banale, è, in un certo senso, secondario.

"Si possono costruire tutti i tipi di hardware esotico, ma se non si riesce a costruire il software che può tradursi dalla capacità di una persona di descrivere a un livello molto semplice in hardware, non si sta realmente producendo una soluzione", ha detto Toon durante un pranzo al The Grey Dog café nel quartiere di Union Square a Manhattan.

È stato uno dei tanti viaggi di Toon da quando i blocchi della pandemia sono svaniti. Sta assaporando il ritorno a incontrare i clienti. "È bello viaggiare di nuovo", ha detto, e trovarsi faccia a faccia.

Tra i punti da sottolineare nel suo giro negli Stati Uniti c'è il fattore software. In particolare, la capacità del software Poplar di Graphcore, che traduce programmi scritti su framework di intelligenza artificiale come PyTorch o TensorFlow in codice macchina efficiente. 

È, infatti, l'atto della traduzione la chiave dell'intelligenza artificiale, sostiene Toon. Indipendentemente dall'hardware che costruisci, la sfida è come tradurre da ciò che il programmatore PyTorch o TensorFlow sta facendo a qualsiasi transistor disponibile. 

Un'idea comune è che l'hardware dell'intelligenza artificiale consista nell'accelerare le moltiplicazioni di matrici, l'elemento costitutivo degli aggiornamenti del peso netto neurale. Ma, fondamentalmente, non lo è.

"È solo la moltiplicazione di matrici, e sono solo le circonvoluzioni di cui abbiamo bisogno, o ci sono altre operazioni di cui abbiamo bisogno?" chiese Toon, retoricamente. 

In realtà, ha detto, "si tratta molto di più della complessità dei dati".

Una grande rete neurale, ha detto Toon, come GPT-3, è "davvero una memoria associata", in modo che le connessioni tra i dati siano essenziali e il movimento delle cose dentro e fuori dalla memoria diventi il collo di bottiglia per l'informatica. 

Toon ha una profonda familiarità con un tale problema di connessione. Toon ha trascorso quattordici anni presso il produttore di chip programmabili Altera, ha ricordato, in seguito acquistato da Intel. Un chip logico programmabile, noto come "FPGA", funziona facendo collegare i suoi blocchi di computer, chiamati celle, per ogni attività bruciando un fusibile tra di loro. 

"Tutto il software" di un FPGA "riguarda il modo in cui si prende il grafico, che è la net-list o l'RTL, e lo si traduce nell'interconnessione all'interno dell'FPGA", ha spiegato.

Tali attività software diventano molto complesse. 

"Si costruisce una gerarchia di interconnessioni all'interno del chip per cercare di farlo funzionare, ma, da un punto di vista software, è un problema NP-Hard mappare un grafo alle interconnessioni", ha detto, riferendosi al "tempo polinomiale non deterministico", una misura della complessità computazionale. 

Poiché si tratta di tradurre la complessità delle associazioni in transistor, "è davvero un problema di grafi, ecco perché abbiamo chiamato l'azienda Graphcore", ha detto Toon. In termini generali, un grafo è la totalità delle interdipendenze tra diverse attività di calcolo in un dato programma. 

"Bisogna partire da un approccio informatico che dice: saranno i grafi, è necessario costruire un processore per lavorare sui grafi, per eseguire un'elaborazione altamente parallela dei grafici".

"Costruiamo il software da lì, costruiamo il processore", ha detto.

Ciò significa che l'hardware serve solo il software. "Il computer segue la struttura dei dati", sostiene Toon. "È un problema di software".

Questa è l'occasione per Toon di rifare il software CUDA di Nvidia, che detiene un enorme potere nel mondo dell'intelligenza artificiale. 

"È interessante: molte persone dicono che CUDA è in qualche modo questo ecosistema che rende impossibile per chiunque altro competere", ha osservato Toon. "Ma quello che fraintendi è che nessuno programma in CUDA, nessuno vuole programmare in CUDA, le persone vogliono programmare in TensorFlow e ora in PyTorch e, successivamente, JAX - vogliono un costrutto di alto livello", ha detto, riferendosi alle varie librerie di sviluppo open source costruite da Meta e Google e altri. 

"Tutti questi framework sono framework di grafi", ha osservato, "stai descrivendo un grafo piuttosto astratto, con grandi operatori al centro di ciascuno degli elementi all'interno del grafo".

Nvidia, ha osservato Toon, "ha costruito un incredibile insieme di librerie per tradurre da quell'astrazione di alto livello con cui il programmatore si sente a proprio agio: questo è il pezzo che Nvidia ha fatto, non necessariamente CUDA".

Entra nell'offerta concorrente di Graphcore, Poplar, la cosa che si traduce da PyTorch e il resto in quello che lui sostiene sia l'hardware più efficiente di Graphcore. Poplar smonta il grafo di calcolo e lo traduce in qualsiasi gate presente nell'hardware Graphcore oggi e in qualsiasi cosa sostituirà quei gate domani. 

C'è, tuttavia, scetticismo su Graphcore, o su qualsiasi altro giovane aspirante, come Cerebras Systems e SambaNova, che competono con Nvidia su quelle librerie a cui Toon si riferisce. In un editoriale di aprile, l'editore Linley Gwennap del prestigioso Microprocessor Report, ha scritto che "il software, non l'hardware", è ancora il problema. Gwennap sostiene che il tempo per colmare il divario sta svanendo per Graphcore e altri perché Nvidia continua a migliorare con miglioramenti hardware come Hopper. 

Gli scettici come Gwennap non apprezzano i progressi del software Poplar?

"È un viaggio", ha detto Toon. "Se avessi avuto a che fare con Poplar due anni fa, avresti detto: non è abbastanza; se ti impegni con Poplar ora, diresti che in realtà è abbastanza buono.

"E tra due anni, la gente dirà: Wow, questo mi permette di fare cose che non posso fare su una GPU".

Il software è già, afferma Toon, il suo ecosistema in espansione. "Guardate l'ecosistema che abbiamo creato intorno a Poplar, cose come PyTorch Lightning, PyTorch Geometric", due estensioni di PyTorch che vengono portate su Poplar e sui chip IPU Graphcore. 

"Non è solo TensorFlow, è un'intera suite", ha detto. "TensorFlow va bene per un ricercatore di intelligenza artificiale, ma non è un ambiente in cui un data scientist, un individuo o un'azienda molto grande possono venire e giocare".

I professionisti, rispetto agli scienziati, hanno bisogno di strumenti accessibili. "Lavoriamo con Hugging Face, Weights and Biases", tra gli altri strumenti di apprendimento automatico, ha osservato. "Ci sono molte altre librerie che stanno uscendo, ci sono aziende che stanno costruendo servizi su IPU" e "ci sono MLOps che sono stati portati per funzionare con Poplar".

Graphcore è "molto più avanti in termini di costruzione di quell'ecosistema software per creare quella facilità d'uso, in questo modo le persone possono entrare", ha detto, rispetto a Cerebras e ad altri concorrenti. 

Si tratta, infatti, di un duopolio del software, sostiene Toon. "Guardi tutti gli altri, anche le grandi aziende, non c'è nessun altro che ce l'abbia a parte noi e Nvidia, quella gamma di ecosistemi".

Nel frattempo, sostiene, i progressi hardware di Nvidia non sono tutti dovuti al fatto che la libertà di progettazione di Nvidia è limitata dal suo stesso successo. "Cosa sta facendo Nvidia? Hanno aggiunto i core Tensor e ora hanno aggiunto i core Transformer: non possono cambiare il core fondamentale del processore perché se lo facessero, tutte le librerie dovrebbero essere buttate via".

Mentre Graphcore è ancora dietro a Nvidia nella maggior parte dei benchmark della suite di test MLPerf, la combinazione di Poplar e il design IPU offre una superiorità misurabile in casi particolari in cui può essere applicata in modo ponderato, afferma. 

"Su alcuni modelli, come una rete neurale a grafo, ad esempio, stiamo vedendo prestazioni cinque o dieci volte superiori" rispetto alle macchine basate su Nvidia, ha detto, "perché la struttura dei dati, l'architettura sottostante che abbiamo costruito all'interno dell'IPU, è allineata molto di più a quel tipo di calcolo sparso, a grafo". 

Il software Poplar ha anche raggiunto una velocità da due a tre volte nell'esecuzione dei modelli Transformer, trovando modi intelligenti per parallelizzare gli elementi del grafo, ha detto. 

La premessa che il software sia un campo di battaglia e che Nvidia possa avere una vera concorrenza, si basa sulla premessa che l'IA stessa è ancora in grande evoluzione. C'è un sacco di spazio per i programmi di intelligenza artificiale per diventare più grandi, sostiene Toon, mettendo a dura prova le capacità di calcolo. 

E il problema fondamentale di decifrare il codice della cognizione umana è ancora remoto. 

Sul primo punto, i programmi sono, in effetti, sempre più grandi. 

I più grandi modelli di intelligenza artificiale di oggi, cose come Megatron-Turing NLG di Nvidia e Microsoft, un modello generativo di linguaggio naturale derivante dall'innovazione Transformer del 2017, hanno mezzo trilione di parametri, o pesi, gli elementi di una rete neurale che vengono sintonizzati e che sono l'analogo delle sinapsi nei neuroni umani reali. 

Alcuni, tra cui Cerebras, hanno indicato un futuro di trilioni, persino centinaia di trilioni di parametri, e Toon fa eco a questo sentimento. 

"Man mano che si aumenta il numero di parametri e la quantità di dati", ha osservato Toon, "si aumenta il calcolo di una moltiplicazione di questi due pezzi, ed è per questo che ci sono queste enormi farm di GPU che si stanno evolvendo".

La cifra di 100 trilioni è una sorta di bersaglio magico perché si ritiene che sia il numero di sinapsi in un cervello umano, quindi serve come una sorta di punto di riferimento.

Chiaramente non c'è alcuna polemica sulla questione di essere sempre più grandi, dato che Graphcore e Nvidia e tutti gli altri stanno costruendo macchine sempre più potenti per questo.

Toon è interessato al secondo punto, tuttavia, alla questione informatica se si possa fare qualcosa di utile con tutto questo, e se possa avvicinarsi all'intelligenza umana. 

"La sfida è, sai, se avessi un modello che fosse di cento trilioni di parametri, questo lo renderebbe intelligente come una persona?" ha detto Toon.

Non si tratta semplicemente di lanciare transistor contro la questione, ma di progettare un sistema. 

"Sai, sappiamo davvero come addestrarlo?" che significa addestrare la rete neurale una volta che ha 100 trilioni di pesi. "Sappiamo come dargli le giuste informazioni? Sappiamo come costruire quel modello in modo che corrisponda effettivamente all'intelligenza di un essere umano, o sarebbe così inefficiente nonostante molti più parametri?"

In altre parole, "Potremmo davvero sapere come costruire una macchina che corrisponda all'intelligenza del cervello?"

Una risposta, offre, è la specializzazione. Un modello di cento trilioni di parametri potrebbe essere davvero buono in qualcosa di definito in modo ristretto. "In un sistema come [l'algoritmo di DeepMind per giocare] Atari, hai abbastanza vincoli da poter capire quel mondo", ha detto Toon. 

Allo stesso modo, "Forse potremmo costruire una comprensione sufficiente, ad esempio, di come funzionano le cellule e di come il DNA si converte in RNA attraverso le proteine, in modo da poter avere un sistema di apprendimento per rinforzo che userebbe quella comprensione per capire, ad esempio, Ok, quindi come posso piegare le proteine in modo tale che se si legano a questa cellula, e potevo comunicare con la cellula - e diciamo che la cellula era una cellula cancerosa - potevo attaccare un farmaco a quella proteina, e poteva risolvere il cancro", ha riflettuto Toon. 

"Sarebbe un po' come il gioco Atari che DeepMind ha costruito e che è diventato sovrumano, un sistema sovrumano nell'uccidere i tumori: sarebbe specializzato".

Un altro approccio, suggerisce, è una "comprensione più generale del mondo" che sarebbe simile a come i bambini umani imparano, "essendo esposti a enormi quantità di dati sul mondo". Il problema delle centinaia di trilioni di sinapsi diventerebbe quindi quello della costruzione di "gerarchie", ha detto Toon. 

"Gli esseri umani costruiscono una gerarchia di comprensione del mondo", ha detto, e poi "interpolano" riempiendo gli spazi vuoti. "Si usano le cose che si sanno per estrapolare e immaginare", ha detto. 

"Gli esseri umani sono molto pessimi nell'estrapolare; quello in cui siamo molto più bravi è l'interpolazione, sai, c'è qualche pezzo che manca - so questo, so questo, e questo è da qualche parte nel mezzo".

Il pensiero di Toon sulla gerarchia riecheggia alcuni teorici del settore, tra cui il capo scienziato dell'intelligenza artificiale di Meta, Yann LeCun, che ha parlato della composizione di gerarchie di comprensione nelle reti neurali. Toon ha indicato di essere d'accordo con alcuni aspetti del pensiero di LeCun. 

Inquadrata da questo punto di vista, ha detto Toon, la sfida dell'intelligenza artificiale diventa quella di "come si costruisce una comprensione del mondo abbastanza grande da fare molta più interpolazione che estrapolazione?"

E questa sfida sarebbe, secondo lui, quella di dati altamente "sparsi", aggiornamenti dei parametri da piccoli pezzi di dati successivi, piuttosto che grandi quantità di ri-addestramento su tutti i dati.

"Anche all'interno di una cosa specifica su cui stai aggiornando il mondo, potresti dover toccare diversi punti della tua comprensione del mondo", ha spiegato Toon. "Potrebbe non essere tutto ordinatamente insieme in un unico punto, i dati sono molto disordinati e molto scarsi".

Dal punto di vista dell'elaborazione, "ci si ritroverebbe con molte parti diverse di operazioni parallele", ha detto, "tutte molto sparse, perché lavorano su parti diverse di dati". 

Entrambe le idee, l'interpolazione e il modello più specifico del killer del cancro, sono in linea con le idee esposte dal co-fondatore di Toon, il CTO di Graphcore, Simon Knowles, che ha parlato di "distillare" una rete neurale più generale e molto grande fino a qualcosa di specifico. 

Sono anche entrambe idee che sembrerebbero giocare con l'idea che il software Poplar serva a una funzione chiave. Se i nuovi dati sono scarsi, riempiono le lacune e devono essere estratti da molti punti in una memoria associativa e in molte operazioni grafiche, allora Poplar ha un ruolo importante come una sorta di poliziotto del traffico per distribuire tali dati e attività in parallelo tra i chip IPU. 

Nonostante abbia delineato questo scenario, Toon non è affatto ideologico. È consapevole che nessuno ha ancora la risposta con certezza. "Penso che ci siano diverse filosofie e idee diverse su come funziona, ma nessuno lo sa bene", ha detto del campo. "Ed è quello che le persone stanno esplorando".

Quando trovano risposta tutte le domande più profonde? Probabilmente non presto.

"La cosa sorprendente dell'intelligenza artificiale è che siamo a dieci anni da AlexNet e ci sentiamo ancora come se stessimo esplorando", ha detto, riferendosi alla rete neurale che notoriamente si è distinta al concorso ImageNet nel 2012, portando in primo piano le forme di intelligenza artificiale di deep learning.  

"Uso sempre l'analogia dei giochi per computer", ha detto Toon, che ha scritto un gioco di Star Wars per il suo primo computer, un kit 6502 di un produttore di computer "dimenticato da tempo". "Probabilmente siamo ancora nella fase di Pac Man, non siamo ancora arrivati ai giochi tridimensionali", per quanto riguarda l'evoluzione dell'IA, ha detto.

Sulla strada per i giochi in 3D, "non credo che ci sarà un inverno dell'intelligenza artificiale", ha commentato Toon, riferendosi alle molte volte nel corso dei decenni in cui i finanziamenti si sono prosciugati e hanno fatto crollare l'industria. 

"La differenza oggi è che funziona, questo è reale", ha detto. In epoche precedenti, con aziende di intelligenza artificiale come Thinking Machines negli anni '80, "semplicemente non funzionava, non avevamo abbastanza dati, non avevamo abbastanza calcolo.  

"Ora è chiaro che funziona, ci sono chiari punti di prova, sta portando un valore enorme", ha detto Toon. "Le persone stanno costruendo intere attività sulla base di questo", ha detto. "Voglio dire, ByteDance e TikTok sono fondamentalmente un'azienda guidata dall'intelligenza artificiale, ed è solo una questione di quanto velocemente si sta diffondendo in tutto lo spazio tecnologico e nelle imprese".

Le battaglie tra giganti della tecnologia, come tra TikTok e Instagram di Meta, possono essere viste come una battaglia di intelligenza artificiale, una corsa agli armamenti per avere i migliori algoritmi.

Graphcore ha sicuramente i soldi per affrontare qualsiasi inverno, si dovrebbe pensare, con 730 milioni di dollari in finanziamenti di rischio. Toon ha rifiutato di fornire informazioni o le entrate di Graphcore. 

"Abbiamo i soldi, abbiamo una squadra", ha detto. "Penso che si possano sempre avere più soldi e un team più grande, ma bisogna lavorare entro i limiti che esistono". Graphcore ha 650 dipendenti. 

Per il momento, un inverno basato sull'intelligenza artificiale non è la sfida. Vendere ai clienti la combinazione software superiore di Pioppo e IPU lo è. Sembra certamente una battaglia in salita contro il gigante Nvidia. 

Meta, proprietaria di Facebook, ha recentemente annunciato un "super computer di ricerca" per l'intelligenza artificiale e il metaverso, costruito su 6.080 GPU Nvidia. Sembra che le persone vogliano sempre più Nvidia. 

"Penso che questa sia la sfida che abbiamo come azienda, è quella di cambiare i cuori e le menti delle persone", ha detto Toon. 

Beh, possono?

«Guarda questo spazio» disse Toon, e si diresse verso l'aeroporto.