Il CEO di Pinecone è alla ricerca di dare all'IA qualcosa di simile alla conoscenza
Da tempo le aziende cercano di effettuare ricerche tra i vettori che sono al centro dell’intelligenza artificiale. È questa la tecnologia mirata che il settore stava cercando?
ChatGPT e altri programmi di intelligenza artificiale generativa sputano "allucinazioni", affermazioni di falsità come fatti, perché i programmi non sono costruiti per "conoscere" nulla; sono semplicemente costruiti per produrre una stringa di caratteri che sia una plausibile continuazione di qualunque cosa tu abbia appena digitato.
"Se faccio una domanda di medicina, legale o tecnica, il LLM [modello linguistico di grandi dimensioni] non avrà quell'informazione, soprattutto se tale informazione è proprietaria", ha affermato Edo Liberty, CEO e fondatore della startup Pinecone, in un'intervista recentemente con ZDNET. "Quindi, inventerà semplicemente qualcosa, ciò che chiamiamo allucinazioni."
L'azienda di Liberty, un produttore di software fondato quattro anni fa con sede a New York City, è specializzato in quello che viene chiamato database vettoriale. La società ha ricevuto finanziamenti per 138 milioni di dollari per cercare di radicare i risultati semplicemente plausibili di GenAI in qualcosa di più autorevole, qualcosa che assomigli alla conoscenza reale.
"La cosa giusta da fare è, quando hai la query, il prompt, andare a prendere le informazioni rilevanti dal database vettoriale, inserirle nella finestra di contesto, e all'improvviso la tua query o la tua interazione con il modello linguistico è molto più efficace", ha spiegato Liberty.
I database vettoriali sono un angolo di uno sforzo in rapida espansione chiamato "retrieval-augmented generation" o RAG, in base al quale gli LLM cercano input esterni nel mezzo della formazione dei loro output al fine di amplificare ciò che la rete neurale può fare da sola.
Di tutti gli approcci RAG, il database vettoriale è tra quelli con il background più profondo sia nella ricerca che nell'industria. Esiste in forma grezza da oltre un decennio.
Nei suoi precedenti ruoli presso grandi aziende tecnologiche, Liberty ha contribuito a creare database vettoriali come un affare nascosto e skunkworks. È stato responsabile della ricerca per Yahoo! e senior manager della ricerca per la piattaforma Amazon AWS SageMaker e, successivamente, capo di Amazon AI Labs.
"Se guardi i consigli per gli acquisti su Amazon o la classifica dei feed su Facebook, o i consigli sugli annunci pubblicitari, o fai una ricerca su Google, stanno tutti lavorando dietro le quinte con qualcosa che è effettivamente un database vettoriale", ha detto Liberty a ZDNET.
Per molti anni, i database vettoriali sono stati "ancora una sorta di segreto ben custodito" anche all'interno della comunità dei database, ha affermato Liberty. Questi primi database vettoriali non erano prodotti standardizzati. "Ogni azienda ha dovuto costruire qualcosa internamente per fare questo", ha detto. "Io stesso ho partecipato alla creazione di diverse piattaforme che richiedono alcune funzionalità di database vettoriale."
L'intuizione di Liberty in quegli anni in Amazon era che l'uso dei vettori non poteva essere semplicemente inserito all'interno di un database esistente. "È un'architettura separata, è un database separato, un servizio: è un nuovo tipo di database", ha affermato.
Era chiaro, ha detto, "dove stava andando il disco" con l'intelligenza artificiale anche prima di ChatGPT. "Con modelli linguistici come BERT di Google, questo è stato il primo modello linguistico che ha iniziato a prendere piede tra lo sviluppatore medio", ha affermato Liberty, riferendosi al sistema di intelligenza artificiale generativa di Google, introdotto nel 2018, un precursore di ChatGPT.
"Quando ciò inizia ad accadere, si tratta di una fase di transizione nel mercato." Era una transizione che doveva cogliere al volo, ha detto.
"Sapevo quanto fosse difficile e quanto tempo ci volesse per creare livelli di database fondamentali e che dovevamo iniziare in anticipo, perché avevamo solo un paio d'anni prima che questo venisse utilizzato da migliaia di aziende."
Qualsiasi database è definito dal modo in cui i dati sono organizzati, come le righe e le colonne dei database relazionali, e dai mezzi di accesso, come il linguaggio di query strutturato dei database relazionali.
Nel caso di un database vettoriale, ogni dato è rappresentato da quello che viene chiamato incorporamento vettoriale, un gruppo di numeri che collocano i dati in uno spazio astratto - uno "spazio di incorporamento" - basato sulla somiglianza. Ad esempio, le città di Londra e Parigi sono più vicine tra loro in uno spazio di prossimità geografica rispetto a New York. Gli incorporamenti di vettori sono solo un modo numerico efficiente per rappresentare la somiglianza relativa.
In uno spazio di incorporamento, qualsiasi tipo di dato può essere rappresentato come più vicino o più lontano in base alla somiglianza. Il testo, ad esempio, può essere pensato come parole vicine, come "occupa" e "localizzato", che sono entrambe più vicine tra loro di quanto non lo siano vicino a una parola come "fondata". Immagini, suoni, codici di programma: ogni genere di cose può essere ridotto a vettori numerici che vengono poi incorporati in base alla loro somiglianza.
Per accedere al database, il database vettoriale trasforma la query in un vettore e quel vettore viene confrontato con i vettori nel database in base a quanto è vicino a loro nello spazio di incorporamento, ciò che è noto come "ricerca di similarità". La corrispondenza più vicina è quindi l'output, la risposta a una query.
Puoi vedere come questo abbia un'ovvia rilevanza per i motori di raccomandazione: due tipi di aspirapolvere potrebbero essere più vicini tra loro di quanto non lo sia un terzo tipo di aspirapolvere. Una query per un aspirapolvere potrebbe essere abbinata a quanto è vicino a una qualsiasi delle descrizioni dei tre aspirapolvere. Ampliare o restringere la query può portare a una ricerca più ampia o più precisa di somiglianza in tutto lo spazio di incorporamento.
Ma la ricerca di similarità tra incorporamenti di vettori non è di per sé sufficiente per creare un database. Nella migliore delle ipotesi, è un semplice indice di vettori per il recupero molto elementare.
Un database vettoriale, sostiene Liberty, deve avere un sistema di gestione, proprio come un database relazionale, qualcosa in grado di gestire numerose sfide di cui l'utente non è nemmeno consapevole. Ciò include come archiviare i vari vettori sui supporti di archiviazione disponibili, come scalare l'archiviazione su sistemi distribuiti e come aggiornare, aggiungere ed eliminare i vettori all'interno del sistema.
"Queste sono query davvero, davvero uniche e molto difficili da eseguire, e quando lo fai su larga scala, devi costruire il sistema in modo che sia altamente specializzato per questo", ha affermato Liberty.
"E deve essere costruito da zero, in termini di algoritmi, strutture dati e tutto il resto, e deve essere nativo del cloud, altrimenti, onestamente, non è possibile ottenere i compromessi in termini di costi, scala e prestazioni." che lo rendono fattibile e ragionevole nella produzione."
La corrispondenza delle query con i vettori archiviati in un database ovviamente si adatta bene a modelli linguistici di grandi dimensioni come GPT-4. La loro funzione principale è abbinare una query in formato vettoriale ai dati di addestramento accumulati, riepilogati come vettori, e a ciò che hai digitato in precedenza, anch'esso rappresentato come vettori.
"Il modo in cui i LLM [modelli linguistici di grandi dimensioni] accedono ai dati, in realtà accedono ai dati con il vettore stesso", ha spiegato Liberty. "Non sono metadati, non è un campo aggiunto che è il modo principale in cui le informazioni vengono rappresentate."
Ad esempio, "Se vuoi dire, dammi tutto ciò che assomiglia a questo, e vedo un'immagine, forse ritaglio un volto e dico, okay, recupera tutti quelli che assomigliano a questo dal database, tra tutte le mie immagini ", ha spiegato Libertà.
"Oppure se è audio, qualcosa che suona così, o se è testo, è qualcosa di rilevante da questo documento." Questi tipi di query combinate possono essere tutte una questione di diverse ricerche di somiglianza in diversi spazi di incorporamento vettoriale. Ciò potrebbe essere particolarmente utile per il futuro multimodale che sta arrivando a GenAI, come riferito da ZDNET.
Il punto, ancora una volta, è ridurre le allucinazioni.
"Supponiamo che tu stia creando un'applicazione per il supporto tecnico: il LLM potrebbe essere stato addestrato su alcuni prodotti casuali, ma non sul tuo prodotto, e sicuramente non avrà la nuova versione che stai per pubblicare, la documentazione che non è ancora pubblica." Di conseguenza, "Inventerà semplicemente qualcosa". Con un database vettoriale, invece, a quella particolare informazione verrà abbinato un prompt relativo al nuovo prodotto.
Ci sono altre strade promettenti in fase di esplorazione nello sforzo complessivo del RAG. Gli scienziati dell’intelligenza artificiale, consapevoli dei limiti dei grandi modelli linguistici, hanno cercato di approssimare ciò che può fare un database. Numerosi soggetti, tra cui Microsoft, hanno sperimentato collegando direttamente ai LLM qualcosa di simile a una memoria primitiva, come riportato in precedenza da ZDNET.
Espandendo la "finestra di contesto", il termine per indicare la quantità di cose precedentemente digitate nel prompt di un programma come ChatGPT, è possibile richiamarne di più ad ogni turno di una sessione di chat.
Questo approccio non può che arrivare fino a un certo punto, ha detto Liberty a ZDNET. "Quella finestra di contesto potrebbe contenere o meno le informazioni necessarie per produrre effettivamente la risposta giusta", ha affermato, e in pratica, sostiene, "quasi certamente non lo farà".
"Se fai una domanda sulla medicina, non inserirai nel contesto tutta la conoscenza della medicina", ha sottolineato. Nel peggiore dei casi, questo "riempimento del contesto", come viene chiamato, può effettivamente esacerbare le allucinazioni, ha detto Liberty, "perché stai aggiungendo rumore".
Naturalmente, altri fornitori di software e strumenti di database hanno visto i vantaggi della ricerca di somiglianze tra vettori e stanno aggiungendo funzionalità ai loro prodotti esistenti. Ciò include MongdoDB, uno dei sistemi di database non relazionali più popolari, che ha aggiunto la "ricerca vettoriale" alla sua piattaforma di database gestita dal cloud Atlas. Include anche il fornitore di database di piccole dimensioni Couchbase.
"Non funzionano", ha detto Liberty degli sforzi di me-too, "perché non hanno nemmeno i meccanismi giusti in atto".
A suo avviso, le modalità di accesso di altri sistemi di database non possono essere limitate alla ricerca per somiglianza vettoriale. Liberty ha offerto un esempio di richiamo. "Se ti chiedo qual è l'intervista più recente che hai fatto, ciò che accade nel tuo cervello non è una query SQL", ha detto, riferendosi al linguaggio di recupero strutturato dei database relazionali.
"Hai connotazioni, puoi recuperare informazioni rilevanti in base al contesto - che in modo simile o analogia è qualcosa che i database vettoriali possono fare a causa del modo in cui rappresentano i dati" che altri database non possono fare a causa della loro struttura.
"Siamo altamente specializzati per eseguire la ricerca vettoriale in modo estremamente efficace e siamo costruiti da zero, dagli algoritmi, alle strutture dei dati, al layout dei dati e alla pianificazione delle query, all'architettura nel cloud, per farlo estremamente bene."
Ciò che MongoDB, Couchbase e gli altri, ha detto, "stanno cercando di fare, e, in un certo senso, con successo, è confondere le acque su cosa sia un database vettoriale", ha detto. "Sanno che, su larga scala, quando si tratta di creare applicazioni reali con database vettoriali, non ci sarà concorrenza."
Lo slancio è con Pinecone, sostiene Liberty, in virtù di aver perseguito la sua intuizione originale con grande attenzione.
"Oggi abbiamo migliaia di aziende che utilizzano il nostro prodotto", ha affermato Liberty, "centinaia di migliaia di sviluppatori hanno creato cose su Pinecone, i nostri client vengono scaricati milioni di volte e utilizzati ovunque." Pinecone è "classificato al primo posto da Dio sa quanti sondaggi diversi".
La crescita dei ricavi è stata chiaramente sostanziale negli ultimi tempi. Pinecone ha chiuso il 2022 con 2 milioni di dollari di entrate ricorrenti annualizzate, una misura del valore totale dei contratti con i clienti. L'azienda chiuderà quest'anno con "decine di milioni" di dollari in ARR, ha affermato il vicepresidente del marketing Greg Kogan, in una e-mail a ZDNET.
"La nostra crescita è stata forte nel 2022 e assolutamente folle nel 2023, grazie al fatto che i database vettoriali sono diventati una componente fondamentale di GenAI e Pinecone è sempre stato ed è tuttora il leader di mercato", ha scritto Kogan via e-mail. "Ci aspettiamo che ciò continui nel 2024."
Guardando al futuro, ha affermato Liberty, i prossimi anni per Pinecone riguarderanno la costruzione di un sistema che si avvicini di più al significato reale della conoscenza.
"Penso che la domanda interessante sia: come rappresentiamo la conoscenza?" Liberty ha detto a ZDNET. "Se hai un sistema di intelligenza artificiale che deve essere veramente intelligente, deve sapere delle cose."
Il percorso per rappresentare la conoscenza per l’intelligenza artificiale, ha affermato Liberty, è sicuramente un database vettoriale. "Ma questa non è la risposta finale", ha detto. "Questa è la parte iniziale della risposta." C'è un altro "due, tre, cinque, dieci anni di investimento nella tecnologia per far sì che questi sistemi si integrino meglio tra loro per rappresentare i dati in modo più accurato", ha detto.
"C'è un'enorme tabella di marcia davanti a noi per rendere la conoscenza parte integrante di ogni applicazione."