Che cos'è esattamente un PC AI? E dovresti comprarne uno nel 2025?

Google ha affermato che l'addestramento di modelli di grandi dimensioni è un "obiettivo enorme" per l'azienda e dovrebbe ricevere maggiore attenzione nei risultati del benchmark.

Un data center di Google con rack dei suoi chip acceleratori TPU versione 4 per l'apprendimento automatico. Google ha utilizzato un cluster di 2.048 TPU per addestrare la sua versione più grande di sempre del suo programma di linguaggio naturale BERT, composto da 481 miliardi di parametri, in 19 ore, come presentazione al concorso di benchmark MLPerf.

Il mondo del deep learning dell'intelligenza artificiale è ossessionato dalle dimensioni. 

I programmi di deep learning, come GPT-3 di OpenAI, continuano a utilizzare sempre più chip GPU di Nvidia e AMD, o nuovi tipi di chip acceleratori, per creare programmi software sempre più grandi. L'accuratezza dei programmi aumenta con le dimensioni, sostengono i ricercatori.

L'ossessione per le dimensioni è stata messa in mostra mercoledì negli ultimi risultati dei benchmark di settore riportati da MLCommons, che stabilisce lo standard per misurare la velocità con cui i chip dei computer possono elaborare il codice di deep learning. 

Google ha deciso di non sottoporsi ad alcun test di benchmark standard di deep learning, che consiste in programmi ben consolidati nel settore ma relativamente obsoleti. Invece, gli ingegneri di Google hanno mostrato una versione del programma in linguaggio naturale BERT di Google, che nessun altro fornitore ha utilizzato. 

MLPerf, la suite di benchmark utilizzata per misurare le prestazioni nella competizione, riporta i risultati per due segmenti: la divisione standard "Closed", in cui la maggior parte dei fornitori compete su reti consolidate come ResNet-50; e la divisione "Open", che consente ai fornitori di provare approcci non standard. 

È stato nella divisione Open che Google ha mostrato un computer che utilizza 2.048 chip TPU di Google, versione 4. Quella macchina è stata in grado di sviluppare il programma BERT in circa 19 ore. 

Il programma BERT, una rete neurale con 481 miliardi di parametri, non era stato precedentemente divulgato. È oltre tre ordini di grandezza più grande della versione standard di BERT in circolazione, nota come "BERT Large", che ha solo 340 milioni di parametri. Avere molti più parametri richiede in genere molta più potenza di calcolo. 

Google ha affermato che la nuova presentazione riflette la crescente importanza della scala nell'intelligenza artificiale.

Google ha presentato la nuova versione del suo programma in linguaggio BERT nella divisione "Open" di MLPerf. Graphcore e Samsung erano gli altri due fornitori che partecipavano a questa divisione. 

"Il nostro pensiero questa volta è che siamo sempre stati desiderosi di assicurarci che le nostre proposte a MLPerf fossero ben allineate alle nostre esigenze interne e alle esigenze dell'industria ML", ha detto Aarush Selvan, che supervisiona l'infrastruttura di apprendimento automatico per Google, in un briefing con i media. 

"E così, l'addestramento di modelli di grandi dimensioni - modelli dell'ordine di decine o centinaia di miliardi di parametri, e anche un trilione di parametri e oltre, è sempre più importante sia all'interno di Google - è un enorme insieme di attenzione per la nostra ricerca e la nostra produzione - ma anche per i nostri clienti cloud".

La suite di test MLPerf è la creazione di MLCommons, un consorzio industriale che emette più valutazioni di benchmark annuali dei computer per le due parti dell'apprendimento automatico: il cosiddetto addestramento, in cui una rete neurale viene costruita perfezionando le sue impostazioni in più esperimenti; e la cosiddetta inferenza, in cui la rete neurale finita fa previsioni man mano che riceve nuovi dati. 

Il rapporto di mercoledì è l'ultimo test di riferimento per la fase di allenamento. Fa seguito al precedente rapporto di giugno.

I risultati completi di MLPerf sono stati discussi in un comunicato stampa sul sito MLCommons. I dati completi sulle iscrizioni possono essere visualizzati nelle tabelle pubblicate sul sito.

Selvan di Google ha detto che MLCommons dovrebbe prendere in considerazione l'inclusione di modelli più grandi. Le reti più vecchie e più piccole come ResNet-50 "ci danno solo un proxy" per le prestazioni di addestramento su larga scala, ha detto. 

"Lanciare 4.000 fiches per addestrare BERT in pochi secondi è davvero fantastico", ha osservato Selvan, riferendosi alla versione più piccola di BERT su cui si concentra la maggior parte dei fornitori nella divisione Closed.

"E mette in mostra alcuni aspetti della scalabilità, ma in realtà è solo un proxy, perché nella vita reale non si usano mai così tanti chip per addestrare un modello così piccolo".

"Lanciare 4.000 fiches per addestrare BERT in pochi secondi è davvero fantastico", ha osservato Selvan, riferendosi alla versione più piccola di BERT su cui si concentra la maggior parte dei fornitori nella divisione Closed. "E mette in mostra alcuni aspetti della scalabilità, ma in realtà è solo un proxy, perché nella vita reale non si usano mai così tanti chip per addestrare un modello così piccolo".

Il componente mancante, ha detto Selvan, è la cosiddetta efficienza dei sistemi man mano che diventano più grandi. Google è stato in grado di eseguire il suo gigantesco modello BERT con un'efficienza del 63%, ha detto a ZDNet, misurata dal numero di operazioni in virgola mobile al secondo eseguite rispetto a una capacità teorica. Questo, ha detto, è stato migliore del secondo risultato più alto del settore, il 52%, raggiunto da Nvidia nello sviluppo del suo modello di linguaggio Megatron-Turing sviluppato con Microsoft. 

"Andando avanti, pensiamo che sarebbe davvero fantastico avere una sorta di benchmark di modelli di grandi dimensioni all'interno della competizione MLPerf", ha detto Selvan.

David Kanter, direttore esecutivo di MLCommons, ha detto che la decisione di avere modelli di grandi dimensioni dovrebbe essere lasciata ai membri dei Comuni per decidere collettivamente. Ha sottolineato, tuttavia, che l'uso di piccole reti neurali come test rende la competizione accessibile a più parti. 

"Lo scopo di un benchmark è quello di essere equo e rappresentativo, ma anche di non mandare in bancarotta nessuno che lo gestisce", ha detto Kanter. 

"In teoria potremmo rendere l'addestramento GPT-3 un benchmark MLPerf ", ha aggiunto Kanter, riferendosi al modello linguistico da 175 miliardi di parametri introdotto da OpenAI lo scorso anno come modello di linguaggio naturale all'avanguardia. 

"Lo scopo di un benchmark è quello di essere equo e rappresentativo, ma anche di non mandare in bancarotta nessuno che lo gestisce", ha detto il presidente di MLCommons Kanter. "In teoria, potremmo rendere l'addestramento GPT-3 un punto di riferimento MLPerf ... La sfida è che l'addestramento di GPT-3 è piuttosto costoso dal punto di vista computazionale. Sono decine di milioni di dollari".

"La sfida è che l'addestramento di GPT-3 è piuttosto costoso dal punto di vista computazionale. Sono decine di milioni di dollari".

Al contrario, i test standard di MLPerf, il cui codice è reso disponibile a tutti, sono una risorsa che qualsiasi ricercatore di intelligenza artificiale può afferrare per replicare i test, senza avere approcci esotici da calcolare, ha detto Kanter. 

"In questo modo, produce questi artefatti ingegneristici molto preziosi per l'intera comunità e aiuta a far progredire il settore".

Google non ha intenzione di pubblicare sul nuovo modello BERT, ha detto Selvan a ZDNet in una e-mail, descrivendolo come "qualcosa che abbiamo fatto solo per MLPerf". Il programma è simile ai progetti delineati nella ricerca di Google all'inizio di quest'anno sulle reti neurali altamente parallelizzate, ha detto Selvan. 

Nonostante la novità del programma BERT da 481 miliardi di parametri, è rappresentativo delle attività del mondo reale perché si basa sul codice del mondo reale. 

"Crediamo che questi benchmark che abbiamo presentato, poiché sfruttano un'architettura Transformer impilata, siano abbastanza realistici in termini di caratteristiche di calcolo con i modelli linguistici di grandi dimensioni esistenti che sono stati pubblicati", ha detto Selvan a ZDNet.

Come le presentazioni più piccole in MLPerf, il modello BERT gigante è stato addestrato per produrre risultati con una certa precisione, spiega Selvan. In questo caso, un'accuratezza delle previsioni del 75%, superiore al 72,2% richiesto da MLPerf. 

I chip Nvidia hanno fatto ancora una volta la parte del leone nei punteggi più alti per addestrare le reti neurali, con l'aiuto di Microsoft Azure.

Il programma Google si basava anche su un minor numero di campioni di dati di testo per ottenere la stessa precisione dei risultati della divisione Closed di altri fornitori. La divisione Closed richiede un programma per l'addestramento con quasi mezzo miliardo di sequenze di token, per lo più di una lunghezza di 128 token per sequenza. Il programma di Google è stato addestrato utilizzando solo circa 20 milioni di token, ma con una lunghezza di 512 token per sequenza. Il lavoro è discusso in modo più dettagliato in un post sul blog di Google.

Il sistema da 2.048 TPU utilizzato da Google per eseguire il lavoro è attualmente disponibile come servizio Google Cloud.

Il resto dei risultati di MLPerf, per lo più nella divisione Closed, mostra che Nvidia e altri fornitori continuano a fare progressi nella riduzione del tempo necessario per addestrare le versioni standard di ResNet, BERT e altre attività. 

Nvidia, come sempre, ha fatto la parte del leone nei migliori risultati. Ad esempio, i computer che utilizzano la sua ultima generazione di GPU, l'A100, hanno conquistato i primi quattro posti per il tempo più veloce di addestramento di ResNet-50, il più veloce è di soli 21 secondi. Questo è stato con 4.320 A100 che operavano in parallelo, con l'aiuto di 1.080 processori EPYC x86 di AMD. Il risultato è stato un miglioramento rispetto ai 24 secondi registrati da Nvidia nel rapporto di giugno.

Tuttavia, dove i sistemi utilizzavano meno chip Nvidia e meno processori host, i concorrenti sono stati in grado di ottenere punteggi più alti di Nvidia. Gli Habana Labs di Intel si sono aggiudicati il quinto posto nella classifica ResNet-50 con 256 dei chip acceleratori Gaudi di Habana supervisionati da 128 Intel Xeon. 

Graphcore ha dimostrato di poter fornire risultati migliori a costi molto inferiori rispetto ai sistemi di Nvidia, una parte maggiore dei risparmi è dovuta al minor numero di processori host di Intel o AMD necessari per un numero equivalente di acceleratori AI. 

E Graphcore, la startup con sede a Bristol, nel Regno Unito, che ha mostrato il miglior punteggio nel rapporto di giugno per un sistema a due processori in formazione BERT, ha conquistato il sesto posto su ResNet-50 con una nuova versione del suo computer IPU-POD che utilizza 256 dei suoi chip acceleratori IPU e 32 processori host AMD EPYC.

I risultati di Habana e Graphcore ResNet-50 sono stati rispettivamente di 3,4 minuti e 3,8 minuti. Ciò si confronta con i 4,5 minuti richiesti dal 7° posto di Nvidia, un sistema A100 a 64 vie con 16 processori EPYC.

Come nel rapporto di giugno, la prima volta che Graphcore ha partecipato, l'azienda ha sottolineato l'importanza di trovare un equilibrio tra prestazioni e costi dei sistemi complessivi. La società ha citato il ResNet-50 time-to-time-train di 28 minuti sul suo sistema a 16 vie, un minuto più veloce di un sistema Nvidia DGXA100 comparabile che costa sostanzialmente di più, ha detto. 

"Il nostro POD-16 supera un DGXA100... ed è la metà del prezzo di listino del DGXA100", ha dichiarato Dave Lacey, chief software architect di Graphcore, in un briefing con i media.

Gran parte del vantaggio in termini di costi deriva dall'avere un rapporto più piccolo tra i processori host Intel o AMD x86 rispetto ai chip IPU, ha affermato Graphcore.

Graphcore si è classificato al sesto posto dietro i chip Nvidia per i punteggi più alti nell'addestramento del modello BERT standard, con quasi 7 minuti contro i 3 minuti del sistema Nvidia al quinto posto. Tuttavia, il sistema Graphcore utilizzava solo 4 processori AMD EPYC contro i 16 del sistema basato su Nvidia. 

"Il prezzo del processore host è una parte significativa del costo di un sistema", ha affermato Lacey. "Come ogni risorsa costosa, si usa solo ciò di cui si ha bisogno".

Graphcore sostiene che il suo basso rapporto tra il processore host - Intel o AMD x86 - e il chip acceleratore è un modello più efficiente di elaborazione AI che porta a notevoli risparmi sui costi.  

Alla domanda sul punto di vista di Google riguardo alle attività di rete neurale di grandi dimensioni, Lacey ha detto che i principali risultati MLPerf servono bene come proxy per le attività del mondo reale. 

Al di là dei risultati dei singoli fornitori, il benchmark MLPerf dimostra i risultati dell'industria dei chip nell'accelerare le prestazioni sulle reti neurali, ha affermato Kanter, presidente di MLCommons.

"Se si guarda alla traiettoria dei migliori risultati nell'addestramento MLPerf nel tempo, si può vedere che è notevolmente più veloce della legge di Moore", ha detto Kanter, riferendosi alla regola empirica dei semiconduttori per molti decenni secondo cui la densità dei transistor raddoppia all'incirca ogni 18 mesi, portando a un raddoppio delle prestazioni.

"Attraverso l'ottimizzazione dell'architettura, delle dimensioni del sistema, del software, del partizionamento dei modelli", ha affermato Kanter, i fornitori stanno riuscendo ad accelerare le prestazioni della rete neurale fino a 11 volte più velocemente rispetto alla traiettoria storica della legge di Moore. 

La suite di benchmark continua a ricevere supporto dai fornitori, con più partecipanti e più proposte. I risultati riportati per tutti i benchmark in aggregato sono stati 175, in aumento rispetto ai 144 del rapporto di giugno. 

Questa volta nuovi fornitori si sono uniti alla competizione. Samsung Electronics, ad esempio, ha presentato i risultati del suo supercomputer utilizzando 256 chip AMD e 1.024 Nvidia A100. Quel sistema, con l'aiuto di alcune modifiche software non standard, aveva il secondo punteggio più veloce di tutti i sistemi per addestrare la versione normale di BERT, solo 25 secondi. 

Un'altra novità questa volta è statail servizio cloud Azure di Microsoft, che ha riportato risultati per 19 invii utilizzando processori AMD e Nvidia A100 in varie configurazioni. Azure ha conquistato due dei primi cinque posti in sette degli otto test di benchmark.

E un sistema Azure ha ottenuto il punteggio più alto per addestrare un modello di segmentazione delle immagini su dati medici (la sfida KiTS19), usando 192 processori AMD EPYC e 768 A100.

"Vogliamo democratizzare il supercomputing", ha detto a ZDNet Nidhi Chappell, responsabile del calcolo ad alte prestazioni e dell'intelligenza artificiale di Azure. 

Ha affermato che la creazione di sistemi disponibili in commercio, come il sistema AI100 a 768 vie, nel cloud ha "riunito il meglio dell'HPC e dell'intelligenza artificiale, invece di prendere un cloud vaniglia che serve ogni carico di lavoro". 

"L'addestramento dell'IA è un problema dell'HPC e la nostra esperienza nell'HPC ci ha aiutato a costruire l'IA su larga scala", ha affermato. "Vogliamo costruire un'infrastruttura ottimizzata per la produzione su larga scala", compresi i sistemi con un massimo di 80.000 core. 

Microsoft dimostra che il suo servizio cloud Azure sta "democratizzando l'high performance computing" con la sua prima presentazione di formazione MLPerf, condotta in collaborazione con Nvidia.

Un motivo importante per partecipare a MLPerf, ha detto Chappell, è stato quello di dimostrare che un lavoro su larga scala può funzionare altrettanto bene in un ambiente cloud come in locale. 

"Quello che abbiamo dimostrato è che siamo stati in grado di mascherare il sovraccarico della virtualizzazione del cloud; Quel sovraccarico è praticamente remoto nel cloud", in modo da non trascinare verso il basso le prestazioni, ha detto.

Alla domanda sui modelli di grandi dimensioni rispetto alle attività MLPerf standard, Chappell ha detto che "è solo questione di tempo" prima che Azure invii alcuni lavori non standard e su larga scala simili a quelli che Google ha fatto nella divisione Open. 

"Accadrà".

Allo stesso tempo, i test MLPerf standard nella divisione Closed sono utili, ha detto, perché "mostrano quanto velocemente l'IA si stia evolvendo; È un processo costante di ottimizzazione".

Il collaboratore di Chappell presso Nvidia, Shar Narasimhan, senior group product manager di Nvidia per i suoi prodotti per data center, ha affermato nello stesso briefing che i test standard di MLPerf hanno il pregio di essere come una pista uniforme in cui molti atleti competono su un campo pianeggiante. 

"Serve come opportunità per tutti di correre la stessa identica gara e confrontare i risultati testa a testa", ha detto  Narasimhan. "Quando guardiamo ai risultati olimpici, abbiamo avuto la stessa identica pista per più di un secolo, e questo ti permette di confrontare la gara che è stata corsa 100 anni fa con i risultati del velocista giamaicano Usain Bolt".

Naturalmente, con il più grande modello di NLP pubblicato al mondo, Megatron-Turing, sembrerebbe che Nvidia e Azure potrebbero offrire una nuova presentazione di modelli di grandi dimensioni come ha fatto Google.

"Non possiamo confrontare questi modelli con nessun altro", ha spiegato Narasimhan, quindi è difficile rendere utile un lavoro del genere nel contesto di MLPerf. Nvidia non si è impegnata in future presentazioni di modelli di grandi dimensioni.

In termini di ciò che è importante per l'industria, ha affermato Narasimhan, è che molte aziende vogliono utilizzare l'intelligenza artificiale per scopi mirati, "non un modello linguistico gigante che richiede 4.000 chip per funzionare". I benchmark più piccoli possono essere utilizzati per anticipare i carichi di lavoro e le prestazioni, ha affermato.

Selvan di Google ha detto che Google intende continuare a sottoporsi alla divisione Closed benchmark di MLPerf in futuro. 

"Vedremo tutti tornare nella divisione Closed l'anno prossimo - si spera, non posso promettere, ma abbiamo intenzione di esserci", ha detto.