I clienti di Snowflake ottengono i primi guadagni dalle applicazioni Gen AI

Per le aziende che hanno adottato la Gen AI, i risparmi sui costi derivanti dall’automazione sono reali, così come lo è la velocità con cui possono ottenere risultati aziendali significativi.

Gran parte del dibattito sull’intelligenza artificiale (AI) nelle imprese, in particolare sul tipo di IA generativa (Gen AI), si concentra sulle statistiche, come il numero di progetti in sviluppo o i risparmi previsti sui costi dell’automazione, e i vantaggi sono ancora molto ipotetico.

Per approfondire alcune statistiche e la teoria, può essere utile ascoltare gli utenti della generazione AI, come ho fatto durante una cena organizzata a New York la scorsa settimana dal fornitore di data warehouse Snowflake.

L'azienda ha invitato clienti importanti a parlare delle loro esperienze nella messa in produzione delle applicazioni AI.

L’impressione generale è che esistano casi d’uso significativi per l’intelligenza artificiale, inclusa la ricerca di documenti, che possono iniziare a fornire vantaggi entro sei mesi o meno dall’implementazione.

Le conversazioni erano aneddotiche e Snowflake è interessata a promuovere gli scenari migliori dei propri clienti per promuovere i propri servizi di data warehouse su cloud.

Tuttavia, tenendo presente questo avvertimento, i commenti attenti di entrambi i clienti suggeriscono che le aziende creano valore tuffandosi nell’intelligenza artificiale anche con casi d’uso molto semplici, dopo solo giorni, settimane o mesi di produzione.

Thomas Bodenski, direttore operativo e responsabile dell'analisi per TS Imagine, che vende una piattaforma di trading di titoli basata su cloud, ha descritto come tradizionalmente sarebbero necessarie 4.000 "ore uomo" di lavoro nella sua azienda per far sì che le persone leggano le e-mail per informazioni cruciali e attuabili. eventi.

"Ricevo posta, ogni anno, 100.000 volte, qualcuno da cui acquistiamo dati, che mi dice che in tre mesi faremo un cambiamento", ha spiegato Bodenski. "Se non sono pronto per questo, ci saranno 500 clienti che non potranno più fare trading", il che significa che non potranno fare trading, ha detto. "Quindi, è molto fondamentale leggere ogni singola email che arriva."

Bodenski ha continuato: "Quell'e-mail arriva, devo classificarla, devo capirla, devo delegarla alle persone giuste, in diversi dipartimenti, per metterla in pratica: questo compito mi costa 4.000 ore all'anno ."

"Basta fare i conti", afferma Thomas Bodenski, direttore operativo di TS Imagine.

Questo compito è stato tradizionalmente svolto dal ruolo di "una squadra in tutto il mondo" da lui supervisionata. Ci sono almeno due persone e mezzo "equivalenti a tempo pieno", ha detto, "e devono essere persone intelligenti".

Bodenski ha dichiarato: "Ora lo sto facendo al 3% del costo delle persone che farebbero quel lavoro", utilizzando un'applicazione di intelligenza artificiale generativa.

"Basta fare i conti", ha detto Bodenski. "Prendi lo stipendio medio e poi calcoli quanto spendi per Snowflake, e questo è solo il 3% di quel costo."

Questo programma di lettura della posta elettronica è stata la prima app creata da TS Imagine con l'aiuto di Snowflake, ha affermato Bodenski. È stato costruito utilizzando i modelli linguistici di grandi dimensioni open source Llama di Meta Platforms e l'alternativa open source di Snowflake, Arctic. Questi modelli linguistici di grandi dimensioni utilizzano la generazione aumentata di recupero (RAG), in cui il modello attinge a un database esterno.

"Non credo che potrei tornare indietro", ha affermato Daniel Sandberg di S&P Global Market Intelligence.

L'app "ha richiesto sei mesi di apprendimento per tentativi ed errori", ha affermato Bodenski. Questo processo è iniziato prima che TS Imagine avesse una relazione con Snowflake.

Poi Snowflake ha introdotto Cortex AI," il servizio di inferenza LLM gestito gestito da Snowflake, "abbiamo migrato l'intera pipeline RAG in quattro giorni e ora siamo in grado di concettualizzare una storia diversa".

Il servizio Cortex AI ha permesso a Bodenski di classificare le e-mail dei clienti in arrivo in base a sensibilità, urgenza e altri parametri, cosa che prima non sarebbe stata possibile "perché, sai, non leggo tutte le 5.000 e-mail dei clienti che arrivano ogni mese, "ha detto.

Con la classificazione, Bodenski ha affermato che il risultato è che "rilevo l'incendio prima ancora che diventi un incendio", intendendo un incidente con il cliente. "È affidabile, non ho problemi, non perdo nemmeno una email."

TS Imagine ora ha sei app attive e funzionanti che utilizzano la Gen AI, ha affermato Bodenski, "e ho intenzione di fare molto di più. L'intelligenza artificiale continuerà a costruire il nostro cervello", ha affermato: "Funziona".

Il cliente di Snowflake S&P Global Market Intelligence ha avuto un'esperienza simile, secondo Daniel Sandberg, responsabile della "ricerca quantitativa" dell'azienda, anch'egli ospite alla cena.

L'azienda di Sandberg ha implementato un'applicazione interna chiamata Spark Assist oltre alle app di Microsoft Office. Ora l'azienda può generare automaticamente riepiloghi via email.

"L'intelligenza artificiale della generazione è abbastanza intelligente da sapere quali sono quelli più rilevanti che richiedono la mia attenzione immediata rispetto a quelli a cui forse è necessario togliere priorità, e io dico semplicemente [al modello di intelligenza artificiale]: 'Vai avanti e scrivi una risposta a questi ', e poi li controllo a campione."

L'app è utilizzata da 14.000 dipendenti di S&P Global, ha affermato Sandberg. "Non credo che potrei tornare indietro", ha detto, riferendosi al vecchio modo di cercare di ordinare e vagliare manualmente la posta elettronica.

Ma il ritorno sull’investimento di tali app giustifica il costo di creazione di app e il costo dell’inferenza? "Direi che sì, dito al vento", ha detto Sandberg, anche se ha aggiunto: "Penso che stiamo ancora valutando molte di queste cose".

Sandberg ha continuato: "La domanda è, nel complesso, quale sarà il profitto? Questo è da definire. Ma in singoli casi, certo; cose che prima richiedevano giorni o più per essere compilate ora possono essere fatte in un giorno [usando la Gen AI] ."

Ha paragonato la Gen AI agli albori di Internet, quando la velocità di accesso remoto ostacolava i profitti per l’utente medio.

"Se siamo seduti qui e dobbiamo aspettare 15 minuti per collegarci" a Internet tramite modem dial-up, "ne vale davvero la pena?" ha osservato Sandberg.

"Ma non è dove siamo adesso", ha detto. "È dove saremo tra cinque anni; penso che molte di queste cose verranno risolte."

Alla cena era presente anche il capo dell'intelligenza artificiale di Snowflake, Baris Gultekin, che ha affermato che l'intelligenza artificiale può già offrire condizioni economiche migliori per automatizzare alcune attività.

"Cortex Analyst è questo prodotto che consente a qualcuno di porre una domanda e ottenere risposte dai dati, istantaneamente", ha spiegato.

"Il prezzo attuale per 1.000 domande è di $200, quindi 20 centesimi a domanda. Questa è una domanda a cui altrimenti dovrebbe essere data risposta da un analista [umano]. Scriverebbero la query SQL [del database] per ognuna di esse Quindi, immagina 1.000 query SQL. Ciascuna richiede, diciamo, 10 minuti. Puoi vedere il ROI: 10 minuti per una domanda, 1.000 domande, contro $200."

Il prodotto Cortex di Snowflake sta già producendo risparmi sui costi, ha affermato Baris Gultekin, responsabile dell'intelligenza artificiale di Snowflake.

Naturalmente, venti centesimi qui e venti centesimi là possono fare la somma, ha affermato Chris Child, vicepresidente dell'ingegneria delle vendite mondiali di Snowflake, ospite della cena. La cosa fondamentale, ha detto, è che le aziende siano in grado di prevedere come si sommeranno i costi una volta iniziata l’inferenza.

"Nella maggior parte dei casi, le persone hanno messo da parte un budget", ha detto Child. "Stanno pensando a cose grandiose, e la questione è molto più: 'Come faccio a capire quanto mi costerà in una serie di mesi e come faccio a sapere quando il trend sarà più alto di quello?'"

Il suo suggerimento: "Provalo, eseguilo una volta, guarda e poi stima ciò di cui avrai bisogno per farlo su larga scala".

Child ha continuato: "Il costo per testare un'ipotesi è alto", rispetto a "Se spendo 1.000 dollari per eseguire un primo caso di test, è comunque costoso, ma è notevolmente più economico" rispetto all'utilizzo di persone per testare la stessa ipotesi.

Chris Child: "Provalo, eseguilo una volta, guarda e poi stima ciò di cui avrai bisogno per farlo su larga scala."

Quando S&P Global ha creato un'app utilizzando Snowflake per i suoi clienti, lo strumento mirava a ordinare 12.000 documenti finanziari trimestrali storici emessi dalle società del Russell 3000, l'indice delle società statunitensi investibili, per 10 anni su un totale di 120.000 documenti.

"La prima cosa che abbiamo fatto quando siamo saliti sulla piattaforma è stata scrivere uno script che ci aiutasse a calcolare il costo prima di spingere l'esecuzione, e siamo stati in grado di farlo", ha affermato Sandberg.

"Mi piace il modello basato sul consumo", ha detto, riferendosi alla pratica di Snowflake di fatturare ai clienti il tempo totale effettivamente utilizzato piuttosto che una tradizionale licenza di utilizzo del software, "perché c'è trasparenza nei prezzi, perché, a mio parere, c'è equità a tutto campo."

Bodenski di TS Imagine ha affermato che la flessibilità nel prezzo dell'esecuzione dell'inferenza in Cortex ha funzionato per le sue esigenze.

"Posso eseguire un processo in cui posso aspettare tre minuti per ogni richiesta, ma posso anche eseguire un processo in cui non va bene aspettare tre minuti, lo voglio in cinque secondi", ha spiegato.

"E prendo la decisione al volo, semplicemente aumentando qualcosa da extra-piccolo a medio", riferendosi alla scala di calcolo.

Bodenski ha affermato che l'app utilizzata da TS Imagine per cercare tra le e-mail ha dimostrato rapidamente il suo valore. "Abbiamo visto l'impatto, in realtà, quattro giorni dopo averlo progettato", ha detto, "perché sono emersi quegli elementi su cui dovevamo concentrarci e migliora la qualità del nostro servizio clienti".

L'app è in produzione ormai da quattro mesi. "È molto, molto importante per noi", ha detto. "Mi eleva per individuare un elemento in cui dovrei essere coinvolto, o il mio manager regionale, il mio capo globale", ha detto Bodenski.

"Funziona in modo automatizzato, produce risultati, stiamo raccogliendo elementi" che altrimenti avrebbero richiesto settimane per ricevere una risposta via email, "e non ho dovuto assumere o riallocare una sola persona per eseguire questo processo. "