Quasi la metà di coloro che adottano la generazione AI la vogliono open source: ecco perché

Definendo l'economia dell'intelligenza artificiale "incredibilmente malsana", Kai-Fu Lee suggerisce di prendere una lezione da Steve Jobs e dall'iPhone.

L'economia dell'intelligenza artificiale è insostenibile per quasi tutti tranne che per il produttore di chip GPU Nvidia, e ciò pone un grosso problema per il continuo sviluppo del nuovo campo, secondo un noto studioso di intelligenza artificiale.

"L'ecosistema è incredibilmente malsano", ha detto Kai-Fu Lee in un forum di discussione privato all'inizio di questo mese. Lee si riferiva alla disparità di profitto tra, da un lato, i produttori di infrastrutture AI, tra cui Nvidia e Google, e, dall’altro, gli sviluppatori di applicazioni e le aziende che dovrebbero utilizzare l’IA per reinventare le loro operazioni.

Lee, che è stato direttore fondatore di Microsoft Research Asia prima di lavorare presso Google e Apple, ha fondato la sua attuale azienda, Sinovation Ventures, per finanziare startup come 01.AI, che crea un motore di ricerca AI generativo chiamato BeaGo.

Per ridurre i costi dell’intelligenza artificiale, afferma Kai-Fu Lee, studioso di intelligenza artificiale, le aziende devono costruire il proprio stack tecnologico integrato verticalmente come ha fatto Apple con l’iPhone.

Le osservazioni di Lee sono state fatte durante il Collective[i] Forecast, una serie di discussioni interattive organizzate da Collective[i], che si presenta come "una piattaforma AI progettata per ottimizzare le vendite B2B".

L'ecosistema AI di oggi, secondo Lee, è costituito da Nvidia e, in misura minore, da altri produttori di chip come Intel e Advanced Micro Devices. Collettivamente, i produttori di chip incassano 75 miliardi di dollari in vendite annuali di chip derivanti dall’elaborazione dell’intelligenza artificiale. "L'infrastruttura guadagna 10 miliardi di dollari e le app 5 miliardi di dollari", ha affermato Lee. "Se continuiamo su questa piramide inversa, sarà un problema", ha detto.

Attualmente, le aziende di semiconduttori come Nvidia guadagnano tutti i soldi, mentre le aziende che dovrebbero essere i beneficiari finali - produttori di app e utenti - vedono pochissimi profitti.

La “piramide inversa” è la frase con cui Lee descrive l’inversione senza precedenti dell’economia classica del settore tecnologico. Tradizionalmente, i produttori di applicazioni guadagnano più soldi dei fornitori di chip e sistemi che le forniscono. Ad esempio, Salesforce guadagna di più dalle applicazioni CRM rispetto a Dell e Intel, che costruiscono rispettivamente computer e chip per eseguire le applicazioni CRM nel cloud.

Tali ecosistemi sani, ha affermato Lee, "sono sviluppati in modo che le app abbiano più successo, portino più utenti, le app guadagnino più soldi, le infrastrutture migliorino, i semiconduttori migliorino e così via". È così che sono andate le cose non solo nel cloud, ha detto Lee, ma anche nel mobile computing, dove le fortune di Apple e ARM hanno prodotto vincitori in "cima alla classifica", come il business pubblicitario di Facebook.

Al contrario, "Quando le app non generano profitti, gli utenti non ottengono tanti benefici e non si crea un circolo virtuoso."

Tornando al presente, Lee si è lamentato della natura sbilanciata delle Il mercato di Nvidia. "Ci piacerebbe che Nvidia guadagnasse di più, ma non possono guadagnare più delle app", ha detto, riferendosi alle app AI.

Lo sviluppo degli ecosistemi cloud, personal computer e dispositivi mobili "chiaramente non avverrà oggi" con l'attuale ritmo di spesa per le GPU Nvidia, ha affermato Lee. "Il costo dell'inferenza deve diminuire" affinché un ecosistema sano possa prosperare, ha affermato. "GPT-4o1 è meraviglioso, ma è molto costoso."

Lee è arrivato all'evento con più di un avvertimento, offrendo però una raccomandazione "pragmatica" che secondo lui potrebbe risolvere la sfortunata realtà economica. Ha raccomandato alle aziende di costruire il proprio stack tecnologico integrato verticalmente come ha fatto Apple con l’iPhone, al fine di ridurre drasticamente il costo dell’intelligenza artificiale generativa.

La sorprendente affermazione di Lee è che le aziende di maggior successo saranno quelle che costruiranno da sole la maggior parte dei componenti dell’intelligenza artificiale generativa - compresi i chip - invece di affidarsi a Nvidia. Ha citato come Steve Jobs di Apple abbia spinto i suoi team a costruire tutte le parti dell'iPhone, invece di aspettare che la tecnologia scendesse di prezzo.

"Siamo ispirati dall'iPhone", ha detto Lee riferendosi agli sforzi di BeaGo. "Steve Jobs è stato audace e ha preso un team di persone provenienti da molte discipline - dall'hardware a iOS, dai driver alle applicazioni - e ha deciso che queste cose si stanno unendo, ma non vedo l'ora che diventino tutti standard di settore perché a quel punto chiunque potrà farlo", ha spiegato Lee.

L'app BeaGo, ha affermato Lee, non è stata costruita su componenti standard come GPT-4o1 di OpenAI o Llama 3 di Meta Platforms. Piuttosto, è stata assemblata come una raccolta di hardware e software sviluppati di concerto.

Il produttore di motori di ricerca Rhymes AI ha apportato innovazioni software e hardware per ridurre di 50 volte il costo dell’inferenza della Gen AI, ha affermato Lee.

"Attraverso l'integrazione verticale, [abbiamo progettato] hardware speciale che non avrebbe funzionato necessariamente con altri motori di inferenza", ha spiegato Lee. Ad esempio, mentre un chip GPU viene ancora utilizzato per fare previsioni, è stato migliorato con più memoria principale, nota come memoria a larghezza di banda elevata (HBM), per ottimizzare la memorizzazione nella cache dei dati.

Il software utilizzato per BeaGo "non è un modello generico". Senza rivelare dettagli tecnici, Lee ha affermato che il modello linguistico di grandi dimensioni dell'intelligenza artificiale generativa "non è necessariamente il modello migliore, ma è il miglior modello che si possa addestrare, dato il requisito di un motore di inferenza che funzioni solo su questo hardware ed eccelle in questo hardware, e modelli che sono stati addestrati sapendo che si tratterebbe di un'inferenza su questo hardware."

Costruire l'applicazione, compreso l'hardware e il nuovo database per memorizzare nella cache i risultati delle query, è costato a BeaGo e ai suoi sostenitori 100 milioni di dollari, ha affermato Lee. "Bisogna tornare ai principi fondamentali e dire: 'Vogliamo fare un'inferenza super veloce a costi fenomenali inferiori, quale approccio dovremmo adottare?' "

Lee ha dimostrato come BeaGo possa ottenere un'unica risposta a una domanda in un batter d'occhio. "La velocità fa la differenza", ha affermato, paragonandolo ai primi tempi di Google, quando il nuovo motore di ricerca forniva risultati molto più velocemente rispetto ai motori consolidati come Yahoo!

Un modello di intelligenza artificiale di base standard come Llama 3.01 405b di Meta, ha affermato Lee, "non si avvicinerà nemmeno all'adattamento a questo scenario". BeaGo non solo è in grado di raggiungere una maggiore velocità di inferenza (il tempo necessario per restituire una previsione in risposta a una query di ricerca), ma è anche notevolmente più economico, ha affermato Lee.

Il costo di inferenza standard odierno utilizzando un servizio come GPT-4 di OpenAI è di 4,40 dollari per milione di token, ha osservato Lee. Ciò equivale a 57 centesimi per query: "ancora troppo costoso, ancora 180 volte più costoso del costo della ricerca non basata sull'intelligenza artificiale", ha spiegato Lee.

Stava confrontando il costo con il costo standard per query di Google, che è stimato a tre decimi di un centesimo per query.

Il costo per BeaGo per soddisfare le query è "vicino a un centesimo per query", ha affermato, "quindi è incredibilmente economico".

L'esempio di BeaGo, ha affermato Lee, mostra "ciò che deve accadere per catalizzare l'ecosistema delle app [AI] [non] accadrà semplicemente sedendosi qui utilizzando la più recente API OpenAI, ma da qualcuno che osa andare in profondità e farlo". integrazione verticale."

La cupa visione del presente di Lee contrasta con la sua convinzione che l'intelligenza artificiale generativa consentirà un nuovo ecosistema che, in definitiva, sarà altrettanto fruttuoso quanto l'era del PC, del cloud e dei dispositivi mobili.

"Nei prossimi due anni, tutte le app verranno riscritte e forniranno valore all'utente finale", ha affermato Lee. "Ci saranno app che prima non esistevano, dispositivi che prima non esistevano, modelli di business che prima non esistevano."

Ogni passo di questo sviluppo, ha detto Lee, "porterà a un maggiore utilizzo, a più utenti, a dati più ricchi, a interazioni più ricche e a più soldi da guadagnare". Questi utenti "chiederanno modelli migliori e offriranno maggiori opportunità di business", ha affermato.

"L'industria della telefonia mobile ha impiegato 10 anni per costruire [un ecosistema di successo]", ha affermato. "L'industria dei PC ha impiegato forse 20 anni per realizzarla; penso che, con la Gen AI, forse due anni."

Lee ha espresso il suo pensiero su come appariranno i casi d'uso consumer e aziendali se l'intelligenza artificiale generativa avrà successo. Per i consumatori, ha detto, il modello di smartphone di oggi molto probabilmente scomparirà.

"L'ecosistema delle app è in realtà solo il primo passo perché una volta che iniziamo a comunicare con i dispositivi tramite la voce, il telefono non è più la cosa giusta perché vogliamo essere sempre in ascolto, sempre attivi, e i telefoni non lo sono."

Per quanto riguarda gli app store, ha detto Lee, "se ne andranno perché gli agenti faranno direttamente le cose che vogliamo, e molte app ed e-commerce -- questo cambierà molto, ma questo accadrà dopo".

Il percorso verso l’uso aziendale dell’intelligenza artificiale generativa sarà molto più difficile rispetto al caso d’uso del consumatore, ha ipotizzato Lee, a causa di fattori quali la natura radicata dei gruppi imprenditoriali all’interno delle aziende, nonché la difficoltà di identificare le aree che ottenere davvero un ritorno sull'investimento.

"Le imprese andranno più lentamente", ha affermato, "perché i CIO non sono necessariamente completamente allineati e non necessariamente pienamente informati su ciò che la Gen AI può fare".

Allo stesso modo, collegare l’intelligenza artificiale generativa ai dati archiviati nei sistemi ERP e CRM, ha affermato Lee, “è molto, molto difficile”. Il “più grande ostacolo” all’implementazione della Gen AI, ha affermato Lee, “sono le persone che sono abituate a fare le cose in un certo modo e non sono necessariamente pronte ad abbracciare” nuovi approcci tecnologici.

Supponendo che questi ostacoli possano essere superati, ha affermato Lee, i primi progetti di Gen AI, come l’automazione dei processi di routine, sono “un buon punto di partenza, ma direi anche che questi non sono i punti migliori per creare il massimo valore.

"In definitiva, per le imprese, penso che l'intelligenza artificiale dovrebbe diventare il cervello centrale dell'impresa, non queste cose un po' periferiche. Per un'azienda energetica, il nucleo è l'estrazione del petrolio, giusto?" si offrì Lee. "Per un istituto finanziario, la cosa fondamentale è fare soldi."

Ciò che dovrebbe risultare, ha affermato, è “un gruppo di leader più piccolo e più snello che non si limita ad assumere persone per risolvere i problemi, ma delega all’intelligenza artificiale delle imprese intelligenti funzioni particolari: è allora che questo costituirà l’affare più importante”.

"Ciò che è veramente fondamentale non è solo risparmiare denaro", ha detto Lee, "ma fare soldi, e non soldi qualsiasi, ma fare soldi nella parte fondamentale e strategica dell'attività dell'azienda".