DataGemma di Google è la prima Gen AI su larga scala con RAG: perché è importante
Data Commons di Google funge da base per fornire all'intelligenza artificiale generativa informazioni a cui attingere.
La sempre più popolare tecnica di intelligenza artificiale generativa nota come generazione aumentata con recupero (o RAG, in breve) è stata un progetto preferito dalle imprese, ma ora sta arrivando alla fase principale dell'intelligenza artificiale.
Google la scorsa settimana ha presentato DataGemma, che è una combinazione dei modelli LLM (large Language Model) open source Gemma di Google e del suo progetto Data Commons per i dati disponibili al pubblico. DataGemma utilizza approcci RAG per recuperare i dati prima di fornire una risposta a una richiesta di query.
La premessa è quella di radicare l’intelligenza artificiale generativa, per prevenire “allucinazioni”, afferma Google, “sfruttando la conoscenza di Data Commons per migliorare la fattualità e il ragionamento del LLM”.
Mentre RAG sta diventando un approccio popolare per consentire alle aziende di radicare i LLM nei propri dati aziendali proprietari, l'utilizzo di Data Commons rappresenta la prima implementazione fino ad oggi di RAG su scala di Gen AI basata su cloud.
Data Commons è un framework di sviluppo open source che consente di creare database disponibili al pubblico. Raccoglie anche dati reali da istituzioni come le Nazioni Unite che hanno reso i loro dati disponibili al pubblico.
Nel collegare i due, nota Google, vengono adottati "due approcci distinti".
Il primo approccio consiste nell'utilizzare i dati statistici pubblicamente disponibili di Data Commons per verificare i fatti su domande specifiche inserite nel prompt, come "L'uso delle energie rinnovabili è aumentato nel mondo?" Gemma di Google risponderà alla richiesta con un'affermazione che cita statistiche particolari. Google si riferisce a questo come "generazione di recupero interleaved" o RIG.
Nel secondo approccio, viene utilizzato il RAG completo per citare le fonti dei dati "e consentire risultati più completi e informativi", afferma Google. Il modello Gemma AI si basa sulla "finestra di contesto lungo" del modello closed source di Google, Gemini 1.5. La finestra di contesto rappresenta la quantità di input in token, in genere parole, che il modello AI può archiviare nella memoria temporanea su cui agire.
Gemini pubblicizza Gemini 1.5 in una finestra di contesto di 128.000 token, sebbene le sue versioni possano destreggiarsi fino a un milione di token dall'input. Avere una finestra di contesto più ampia significa che più dati recuperati da Data Commons possono essere conservati in memoria ed esaminati dal modello durante la preparazione di una risposta alla richiesta di query.
"DataGemma recupera informazioni contestuali rilevanti da Data Commons prima che il modello inizi la generazione della risposta", afferma Google, "riducendo così al minimo il rischio di allucinazioni e migliorando l'accuratezza delle risposte."
La ricerca è ancora in fase di sviluppo; puoi approfondire i dettagli nel documento di ricerca formale del ricercatore di Google Prashanth Radhakrishnan e colleghi.
Google afferma che ci sono ulteriori test e sviluppi da fare prima che DataGemma sia reso disponibile pubblicamente in Gemma e nel modello closed-source di Google, Gemini.
Secondo Google, RIG e RAG hanno già portato a miglioramenti nella qualità dell'output in modo tale che "gli utenti sperimenteranno meno allucinazioni per casi d'uso nella ricerca, nel processo decisionale o semplicemente per soddisfare la curiosità".
DataGemma è l'ultimo esempio di come Google e altre aziende dominanti nel campo dell'intelligenza artificiale stanno sviluppando le loro offerte con cose che vanno oltre i LLM.
OpenAI la scorsa settimana ha presentato il suo progetto, nome in codice interno "Strawberry", composto da due modelli che utilizzano una tecnica di apprendimento automatico chiamata "catena di pensiero", in cui il modello AI è diretto a definire in dichiarazioni i fattori che contribuiscono a una particolare previsione. fabbricazione.