OpenAI, Intel e Qualcomm parlano di calcolo AI alla leggendaria conferenza Hot Chips
La conferenza sui computer di Stanford è iniziata con un intervento del responsabile delle infrastrutture di OpenAI, che ha spiegato la logica della costruzione di computer sempre più grandi.
Arik Gihon, Senior Principal Engineer di Intel per la progettazione di sistemi su chip, guida il pubblico attraverso la progettazione del più recente chip per data center di Intel, Lunar Lake.
La scienza e l'ingegneria della produzione di chip dedicati all'elaborazione dell'intelligenza artificiale sono più vivaci che mai, a giudicare da una conferenza sui chip molto partecipata che si terrà questa settimana presso l'Università di Stanford chiamata Hot Chips.
Lo spettacolo Hot Chips, attualmente alla sua 36esima edizione, attira 1.500 partecipanti, poco più della metà dei quali partecipa tramite il feed live online e il resto al Memorial Auditorium di Stanford. Per decenni, lo spettacolo è stato un focolaio di discussione sui chip più all'avanguardia di Intel, AMD, IBM e molti altri fornitori, con le aziende che spesso utilizzano lo spettacolo per svelare nuovi prodotti.
La conferenza di quest'anno ha ricevuto oltre un centinaio di proposte di presentazione da tutto il mondo. Alla fine, sono state accettate 24 relazioni, quante ne sarebbero state contenute in una conferenza di due giorni. Domenica si sono svolte due sessioni tutoriali, con una presentazione il lunedì e il martedì. Sono inoltre previste tredici sessioni poster.
I discorsi tecnici sul palco e le presentazioni dei poster sono altamente tecnici e orientati agli ingegneri. Il pubblico tende a distribuire laptop e schermi multipli come se trascorresse le sessioni nei propri uffici personali.
I partecipanti tendono ad allestire il campo con i laptop come se fosse un ufficio improvvisato.
Partecipanti all'Hot Chips 2024
La sessione di lunedì mattina, con le presentazioni di Qualcomm sul processore Oryon per data center e sul processore Lunar Lake di Intel, ha attirato una folla gremita e ha suscitato numerose domande da parte del pubblico.
Negli ultimi anni, una grande attenzione è stata posta sui chip progettati per gestire meglio le forme di intelligenza artificiale delle reti neurali. La conferenza di quest'anno includeva un keynote di Trevor Cai di OpenAI, responsabile dell'hardware dell'azienda, su "Scalabilità e infrastruttura prevedibili".
Trevor Cai, ingegnere delle infrastrutture di OpenAI, parla dei prevedibili vantaggi in termini di scalabilità derivanti dall'aumento della potenza di calcolo che sono stati al centro dell'attenzione di OpenAI sin dall'inizio.
Cai, che ha trascorso il suo tempo a mettere insieme l'infrastruttura informatica di OpenAI, ha affermato che ChatGPT è il risultato del fatto che l'azienda "ha speso anni e miliardi di dollari per prevedere meglio la prossima parola". Ciò ha portato a capacità successive come "apprendimento a colpo zero".
"Come sapevamo che avrebbe funzionato?" chiese Cai retoricamente. Perché esistono "leggi di scala" che mostrano che la capacità può aumentare in modo prevedibile come una "legge di potenza" del calcolo utilizzato. Ogni volta che il calcolo viene raddoppiato, la precisione si avvicina a un'entropia "irriducibile", ha spiegato.
"Questo è ciò che ci permette di fare investimenti, di costruire enormi cluster" di computer, ha detto Cai. Ci sono “immensi ostacoli” nel continuare lungo la curva di ridimensionamento, ha detto Cai. OpenAI dovrà confrontarsi con innovazioni algoritmiche molto impegnative, ha affermato.
Per quanto riguarda l'hardware, "i costi in dollari e in energia di questi enormi cluster diventano significativi anche per le aziende che generano il più alto flusso di cassa", ha affermato Cai.
La conferenza continua martedì con le presentazioni di Advanced Micro Devices e della startup Cerebras Systems, tra gli altri.