AWS presenta il nuovo chip AI Trainium e Graviton 4 ed estende la partnership con Nvidia
Il chip Trainium di seconda generazione è pensato per modelli di reti neurali con più di un trilione di parametri.
Il chip Graviton 4, a sinistra, è un chip microprocessore per scopi generici utilizzato da SAP e altri per carichi di lavoro di grandi dimensioni, mentre Trainium 2 è un chip acceleratore speciale per programmi di rete neurale molto grandi come l'intelligenza artificiale generativa.
Alla conferenza annuale degli sviluppatori AWS re:Invent a Las Vegas, Amazon ha annunciato martedì una nuova versione di Trainium 2, il suo chip dedicato per l'addestramento delle reti neurali. Trainium 2 è ottimizzato specificamente per la formazione dei cosiddetti modelli linguistici di grandi dimensioni (LLM) e dei modelli di base, i tipi di programmi di intelligenza artificiale generativa come GPT-4 di OpenAI.
L'azienda ha inoltre presentato una nuova versione del suo microprocessore personalizzato, Graviton 4, e ha affermato che sta estendendo la sua partnership con Nvidia per eseguire i chip più avanzati di Nvidia nel suo servizio di cloud computing.
Il Trainium 2 è progettato per gestire reti neurali con trilioni di parametri, o pesi neurali, che sono le funzioni dell'algoritmo del programma che gli conferiscono scala e potenza, in generale. L’adattamento a parametri sempre più ampi è il focus dell’intero settore dell’intelligenza artificiale.
Il conteggio dei trilioni di parametri è diventato una sorta di ossessione del settore a causa del fatto che si ritiene che il cervello umano contenga 100 trilioni di connessioni neuronali, il che fa sembrare un programma di rete neurale da trilioni di parametri correlato al cervello umano, indipendentemente dal fatto che sia in realtà o meno. il fatto è.
I chip sono "progettati per fornire prestazioni di allenamento fino a quattro volte più veloci e tre volte più capacità di memoria" rispetto al loro predecessore, "migliorando l'efficienza energetica (prestazioni/watt) fino a due volte", ha affermato Amazon.
Amazon sta rendendo disponibili i chip nelle istanze del suo servizio di cloud computing EC2 noto come istanze "Trn2". L'istanza offre 16 chip Trainium 2 che funzionano di concerto, che possono essere estesi a 100.000 istanze, ha affermato Amazon. Queste istanze più grandi sono interconnesse utilizzando il sistema di rete dell'azienda, chiamato Elastic Fabric Adapter, che può fornire un totale di 65 exaFLOP di potenza di calcolo. (Un exaFLOP corrisponde a un miliardo di miliardi di operazioni in virgola mobile al secondo.)
A quella scala di calcolo, ha affermato Amazon, "i clienti possono addestrare un LLM da 300 miliardi di parametri in settimane anziché in mesi".
Oltre a servire i clienti, Amazon ha ulteriori incentivi per continuare a spingere i limiti sul silicio AI. La società ha investito 4 miliardi di dollari nella startup privata di intelligenza artificiale generativa Anthropic, un gruppo che si è separato da OpenAI. Questo investimento mette l’azienda nella posizione di competere con l’accordo esclusivo di Microsoft con OpenAI.
Il chip Graviton 4, costruito sulla proprietà intellettuale del microprocessore di ARM Holdings, compete con i processori di Intel e Advanced Micro Devices basati sul vecchio standard di chip x86. Il Graviton 4 ha "prestazioni di calcolo migliori del 30%", ha affermato Amazon.
A differenza dei chip Trainium per l’intelligenza artificiale, i processori Graviton sono pensati per eseguire carichi di lavoro più convenzionali. Amazon AWS ha affermato che i clienti, tra cui Datadog, DirecTV, Discovery, Formula 1, Nielsen, Pinterest, SAP, Snowflake, Sprinklr, Stripe e Zendesk, utilizzano i chip Graviton "per eseguire un'ampia gamma di carichi di lavoro, come database, analisi , server Web, elaborazione batch, pubblicazione di annunci, server applicazioni e microservizi."
SAP ha affermato nelle osservazioni preparate di essere stata in grado di ottenere "un migliore rapporto prezzo-prestazioni del 35% per i carichi di lavoro analitici" eseguendo il suo database in memoria HANA sui chip Graviton e che "non vediamo l'ora di valutare Graviton4 e i vantaggi che può apportare ai nostri clienti comuni."
I nuovi chip seguono di due anni l'introduzione nel 2021 di Graviton 3 e dell'originale Trainium.
Le notizie di Amazon seguono l'introduzione da parte di Microsoft la scorsa settimana dei suoi primi chip per l'intelligenza artificiale. Google di Alphabet, l'altro titano del cloud insieme ad Amazon e Microsoft, ha preceduto entrambi nel 2016 con il primo chip cloud per l'intelligenza artificiale, il TPU o Tensor Processing Unit, di cui da allora ha offerto più generazioni.
Oltre ai due nuovi chip, Amazon ha affermato di aver esteso la sua partnership strategica con il colosso dei chip AI Nvidia. AWS sarà il primo servizio cloud a eseguire il prossimo prodotto multi-chip GH200 Grace Hopper di Nvidia, che combina la CPU basata su Grace ARM e il chip GPU Hopper H100.
Il chip GH200, che dovrebbe iniziare a essere spedito l'anno prossimo, è la prossima versione del chip combinato Grace Hopper, annunciato all'inizio di quest'anno, che è già disponibile nella sua versione iniziale nei computer Dell e altri.
I chip GH200 saranno ospitati su AWS tramite i computer AI appositamente costruiti da Nvidia, i DGX, che secondo le due società accelereranno l'addestramento delle reti neurali con più di un trilione di parametri.
Nvidia ha affermato che renderà AWS il suo "fornitore cloud principale per la ricerca e lo sviluppo ML".