AMD presenta il chip AI MI300x come "acceleratore AI generativo"
Essere in grado di eseguire un intero modello da 40 miliardi di parametri in memoria, ha affermato Lisa Su, riduce effettivamente il numero di GPU necessarie.
La GPU Instinct MI300X di AMD è dotata di più "chiplet" GPU più 192 gigabyte di memoria DRAM HBM3 e 5,2 terabyte al secondo di larghezza di banda della memoria. L'azienda ha affermato che si tratta dell'unico chip in grado di gestire modelli linguistici di grandi dimensioni, fino a 80 miliardi di parametri in memoria.
Lisa Su, CEO di Advanced Micro Devices, ha presentato martedì a San Francisco un chip che è il fulcro della strategia dell'azienda per il calcolo dell'intelligenza artificiale, vantando la sua enorme memoria e velocità di trasmissione dei dati per i cosiddetti compiti di intelligenza artificiale generativa come i modelli linguistici di grandi dimensioni.
L'Instinct MI300X, come è noto il componente, è il seguito del precedentemente annunciato MI300A. Il chip è in realtà una combinazione di più "chiplet", singoli chip uniti insieme in un unico pacchetto tramite memoria condivisa e collegamenti di rete.
Su, sul palco per un pubblico solo su invito al Fairmont Hotel nel centro di San Francisco, ha definito il componente un "acceleratore di intelligenza artificiale generativa" e ha affermato che i chiplet GPU in esso contenuti, una famiglia nota come CDNA 3, sono "progettati specificamente per carichi di lavoro AI e HPC [calcolo ad alte prestazioni]."
L'MI300X è una versione "solo GPU" del componente. L'MI300A è una combinazione di tre chiplet CPU Zen4 con più chiplet GPU. Ma nell'MI300X, le CPU vengono sostituite con due chiplet CDNA 3 aggiuntivi.
L'MI300X aumenta il numero di transistor da 146 miliardi di transistor a 153 miliardi e la memoria DRAM condivisa viene aumentata da 128 gigabyte nell'MI300A a 192 gigabyte.
La larghezza di banda della memoria è aumentata da 800 gigabyte al secondo a 5,2 terabyte al secondo.
"Il nostro utilizzo dei chiplet in questo prodotto è molto, molto strategico", ha affermato Su, per via della capacità di combinare diversi tipi di elaborazione, sostituendo CPU o GPU.
Su ha affermato che l'MI300X offrirà 2,4 volte la densità di memoria della GPU "Hopper" H100 di Nvidia e 1,6 volte la larghezza di banda della memoria.
"L'intelligenza artificiale generativa e i grandi modelli linguistici hanno cambiato il panorama", ha affermato Su. "La necessità di più risorse di calcolo sta crescendo in modo esponenziale, sia che si parli di formazione che di inferenza."
Per dimostrare la necessità di un computer potente, Sue ha mostrato la parte che lavora su quello che secondo lei è il modello di linguaggio di grandi dimensioni più popolare al momento, il Falcon-40B open source. I modelli linguistici richiedono più calcoli poiché sono costruiti con un numero sempre maggiore di quelli che vengono chiamati "parametri" della rete neurale. Il Falcon-40B è composto da 40 miliardi di parametri.
L'MI300X, ha detto, è il primo chip abbastanza potente da gestire una rete neurale di quelle dimensioni, interamente in memoria, invece di dover spostare i dati avanti e indietro da e verso la memoria esterna.
Su ha dimostrato l'MI300X creando una poesia su San Francisco utilizzando il Falcon-40B.
"Un singolo MI300X può eseguire modelli con un massimo di circa 80 miliardi di parametri" in memoria, ha affermato.
"Quando si confronta l'MI300X con la concorrenza, l'MI300X offre 2,4 volte più memoria e 1,6 volte più larghezza di banda della memoria e, con tutta questa capacità di memoria aggiuntiva, abbiamo effettivamente un vantaggio per i modelli linguistici di grandi dimensioni perché possiamo eseguire modelli più grandi direttamente in memoria ."
Essere in grado di eseguire l'intero modello in memoria, ha affermato Su, significa che, "per i modelli più grandi, ciò riduce effettivamente il numero di GPU necessarie, accelerando significativamente le prestazioni, soprattutto per l'inferenza, oltre a ridurre il costo totale di proprietà."
"Adoro questo chip, comunque," ha detto entusiasta Su. "Adoriamo questo chip."
"Con MI300X è possibile ridurre il numero di GPU e, poiché le dimensioni dei modelli continuano a crescere, questo diventerà ancora più importante."
"Con più memoria, più larghezza di banda e meno GPU necessarie, possiamo eseguire più processi di inferenza per GPU rispetto a prima", ha affermato Su. Ciò ridurrà il costo totale di proprietà dei modelli linguistici di grandi dimensioni, ha affermato, rendendo la tecnologia più accessibile.
Per competere con i sistemi DGX di Nvidia, Su ha presentato una famiglia di computer AI, la "AMD Instinct Platform". La prima istanza combinerà otto MI300X con 1,5 terabyte di memoria HMB3. Il server è conforme alle specifiche Open Compute Platform standard del settore.
"I clienti possono utilizzare tutta questa capacità di calcolo dell'intelligenza artificiale in memoria in una piattaforma standard di settore che si inserisce direttamente nella loro infrastruttura esistente", ha affermato Su.
A differenza dell'MI300X, che è solo una GPU, l'MI300A esistente si scontra con il chip combinato Grace Hopper di Nvidia, che utilizza la CPU Grace di Nvidia e la sua GPU Hopper, che la società ha annunciato il mese scorso è in piena produzione.
L'MI300A è stato integrato nel supercomputer El Capitan in costruzione presso i Laboratori Nazionali Lawrence Livermore del Dipartimento dell'Energia, ha osservato Su.
L'MI300A viene attualmente mostrato come campione ai clienti AMD e l'MI300X inizierà a campionare i clienti nel terzo trimestre di quest'anno, ha affermato Su. Entrambi entreranno in produzione in volumi nel quarto trimestre, ha affermato.
È possibile guardare una replica della presentazione sul sito Web creato da AMD per la notizia.