In che modo il progetto di IBM per la trasformazione del settore sfrutta l'intelligenza artificiale, il 5G e la collaborazione
L'approccio a blocchi è in grado di ridurre drasticamente il tempo di calcolo rispetto alle GPU in proporzione diretta al numero di macchine collegate.
Andromeda è un cluster di 16 computer IA CS-2 di Cerebras uniti tramite un interruttore fabric dedicato e supervisionati da una macchina di memoria che aggiorna le impostazioni di una rete neurale. Cerebras afferma che la programmazione della macchina per l'esecuzione di modelli linguistici di grandi dimensioni è l'inizio di un'ondata di clustered computing nell'intelligenza artificiale.
L'attuale tendenza per i programmi di apprendimento automatico che gestiscono enormi quantità di input in linguaggio naturale sta spingendo i confini dell'informatica, favorendo una sorta di corsa agli armamenti dei supercomputer.
Mentre una volta i supercomputer erano solo per problemi scientifici, lo sviluppo di programmi di intelligenza artificiale noti come modelli linguistici di grandi dimensioni, o LLM, sta spingendo le aziende a cercare la stessa potenza dei migliori laboratori di ricerca del mondo.
Ad esempio, Nvidia, il portabandiera dei chip per l'intelligenza artificiale, a settembre ha annunciato una struttura di cloud computing dedicata a modelli linguistici di grandi dimensioni che sarà noleggiabile come servizio dalle imprese.
Cerebras Systems, la startup di 6 anni con sede a Sunnyvale, in California, che fa parte di un gruppo di aziende che sfidano il dominio di Nvidia, ha presentato un supercomputer chiamato Andromeda che esegue un quadrilione di operazioni matematiche in virgola mobile al secondo, tanto quanto il miglior supercomputer al mondo, Frontier, e che può raggiungere un'accelerazione drammatica su attività come gli LLM oltre la capacità di migliaia di chip GPU.
I CS-2 sono collegati tra loro da uno speciale interruttore dati che Cerebras ha introdotto lo scorso anno, chiamato Swarm-X, che collega i CS-2 a una terza macchina, Memory-X. Il Memory-X funge da deposito centrale per i "pesi" neurali, o parametri, che vengono trasmessi a ciascun CS-2. Il risultato della moltiplicazione della matrice in ogni CS-2 viene quindi passato indietro attraverso lo Swarm-X al Memory-X come aggiornamento del gradiente dei pesi, e il Memory-X fa il lavoro di ricalcolo dei pesi, e il ciclo ricomincia.
Andromeda è stato assemblato in modo modulare combinando 16 dei computer IA CS-2 di Cerebras interconnessi da un interruttore chiamato Swarm-X, che comunicano con un computer di coordinamento centrale che aggiorna i pesi neurali chiamato Memory-X.
Il cluster Andromeda è installato come macchina disponibile per il cloud da Colovore, con sede a Santa Clara, in California, che compete nel mercato dei servizi di hosting con aziende del calibro di Equinix.
Il segreto del design modulare è che le macchine CS-2 possono essere orchestrate come un unico sistema senza l'esotico sforzo di programmazione parallela solitamente richiesto per un supercomputer. Un massimo di 192 CS-2 possono operare insieme alla volta, e il software Cerebras si occupa delle funzioni di basso livello di ripartizione del calcolo su ciascun CS-2 e della gestione del peso e del gradiente di traffico attraverso il tessuto Swarm-X.
"A differenza dei supercomputer tradizionali, è possibile inviare il proprio lavoro come se fosse un singolo lavoro su una singola CPU", ha detto Feldman, direttamente da un notebook Jupyter. "Tutto quello che devi fare è specificare quattro cose: quale modello e quali parametri; quanti CS-2 dei 16 si desidera utilizzare; dove vuoi che i risultati vengano inviati quando hai finito; E per quanto tempo si desidera che il modello venga eseguito - questo è tutto, nessuna programmazione parallela, nessun lavoro di calcolo distribuito".
Cerebras sottolinea la facilità di clustering dei suoi CS-2, che non richiede la scrittura di un esotico parallelo di codice di programmazione distribuito.
I primi utenti come il team di Argonne dimostrano che l'approccio di Andromeda può battere alcuni supercomputer che utilizzano migliaia di GPU Nvidia e persino eseguire alcune attività che non potrebbero essere eseguite sui supercomputer a causa delle limitazioni di memoria.