C'è un grosso rischio nel non sapere cosa sta costruendo OpenAI nel cloud, avvertono gli studiosi di Oxford

L’industria del modello linguistico come servizio nasconde dettagli critici sull’affidabilità e l’affidabilità, avverte un rapporto dell’Università di Oxford e dei suoi collaboratori.

Uno degli eventi fondamentali nel campo dell'intelligenza artificiale (AI) nel 2023 è stata la decisione di OpenAI, il creatore di ChatGPT, di non rivelare quasi nessuna informazione sul suo ultimo modello linguistico di grandi dimensioni (LLM), GPT-4, quando l'azienda ha introdotto il programma in Marzo.

Questo improvviso passaggio alla segretezza sta diventando una questione etica importante per l’industria tecnologica perché nessuno sa, al di fuori di OpenAI e del suo partner Microsoft, cosa sta succedendo nella scatola nera del loro cloud informatico.

L'offuscamento è oggetto di un rapporto questo mese dello studioso Emanuele La Malfa dell'Università di Oxford e dei collaboratori dell'Alan Turing Institute e dell'Università di Leeds.

In un articolo pubblicato sul server di prestampa arXiv, La Malfa e colleghi esplorano il fenomeno dei "Language-Models-as-a-Service" (LMaaS), riferendosi a LLM ospitati online, dietro un'interfaccia utente, o tramite un'API. Gli esempi principali di tale approccio sono ChatGPT e GPT-4 di OpenAI.

"La pressione commerciale ha portato allo sviluppo di LM [modelli linguistici] grandi e ad alte prestazioni, accessibili esclusivamente come servizio per i clienti, che restituiscono stringhe o token in risposta all'input testuale di un utente - ma per i quali informazioni su architettura, implementazione , procedure di addestramento o dati di addestramento non sono disponibili, né viene offerta la possibilità di ispezionare o modificare i suoi stati interni", scrivono gli autori.

Differenze tra modelli linguistici open source e LMaaS. Un utente di programmi open source ha il controllo completo, mentre i clienti di un servizio LMaaS devono accontentarsi di ciò che ottengono tramite un browser o un'API.

Tali restrizioni di accesso "inerenti a LMaaS, combinate con la loro natura di scatola nera, sono in contrasto con la necessità del pubblico e della comunità di ricerca di comprenderli, fidarsi e controllarli meglio", osservano. "Ciò causa un problema significativo alla base del settore: i modelli più potenti e rischiosi sono anche i più difficili da analizzare."

Il problema è stato sottolineato da molte parti, compresi i concorrenti di OpenAI, in particolare quelli che puntano sul codice open source per battere il codice closed source. Ad esempio, Emad Mostaque, CEO della startup di intelligenza artificiale generativa Stability.ai, che produce strumenti come il generatore di immagini Stable Diffusion, ha affermato che nessuna azienda può fidarsi di programmi closed-source come GPT-4.

"I modelli aperti saranno essenziali per i dati privati", ha affermato Mostaque durante un piccolo incontro con stampa e dirigenti a maggio. "Devi sapere tutto quello che c'è dentro; questi modelli sono così potenti."

La Malfa e il team esaminano la letteratura dei vari modelli linguistici e identificano come l'offuscamento impedisce un controllo dei programmi rispetto a quattro fattori critici: accessibilità, replicabilità, comparabilità e affidabilità.

Gli autori notano che queste preoccupazioni rappresentano un nuovo sviluppo nell'etica dell'IA: "Questi problemi sono specifici del paradigma LMaaS e distinti dalle preoccupazioni preesistenti legate ai modelli linguistici".

L’accessibilità riguarda la questione del mantenimento della segretezza del codice, che avvantaggia in modo sproporzionato le grandi aziende con ingenti budget per la ricerca e lo sviluppo, sostengono gli autori.

"Con il potere computazionale distribuito in modo non uniforme e concentrato in un piccolo numero di aziende", scrivono, "quelle con un vantaggio tecnologico, ma non computazionale, si trovano ad affrontare un dilemma: mentre l'opensourcing del loro LMaaS avvantaggerebbe loro in termini di esposizione al mercato e contributo alla loro base di codice da parte della comunità, il rilascio del codice che alimenta un modello potrebbe rapidamente bruciare il loro vantaggio competitivo a favore di giocatori con risorse computazionali più elevate."

Inoltre, il prezzo uniforme dei programmi LMaaS significa che le persone nelle economie meno sviluppate sono in una posizione di svantaggio nell’accesso agli strumenti. "Un punto di partenza per mitigare questi problemi è quindi analizzare l'impatto di LMaaS e, più in generale, dei servizi di intelligenza artificiale a pagamento come tecnologia autonoma, pervasiva e dirompente", suggeriscono.

Un altro problema è il divario crescente nel modo in cui vengono formati i LLM: quelli commerciali possono riutilizzare i suggerimenti dei clienti e quindi distinguersi dai programmi che utilizzano solo dati pubblici, osservano gli autori.

Le licenze commerciali di LMaaS, scrivono, "concedono alle aziende il diritto di utilizzare le richieste per fornire, mantenere e migliorare i propri servizi", in modo che non esista una base comune di dati di formazione da cui tutti attingono.

Offrono un grafico (sotto) che valuta la disparità nel fatto che i modelli linguistici raccolgano le richieste dei clienti per la formazione e il "perfezionamento", che è una fase che in alcuni casi migliora le capacità di un modello linguistico, e se consentono agli utenti di rinunciare.

Confronto tra se i modelli linguistici offrono opzioni di rinuncia ai propri clienti rispetto ai dati e se utilizzano i dati per la formazione e il perfezionamento dei loro modelli a scatola nera.

Dopo aver descritto a lungo i vari rischi, La Malfa e il suo team propongono "un programma provvisorio" per affrontare le quattro aree, esortando: "dobbiamo lavorare come comunità per trovare soluzioni che consentano ai ricercatori, ai politici e ai membri del pubblico di fidarsi LMaaS."

Per prima cosa, raccomandano che "le aziende rilascino il codice sorgente" dei loro programmi LMaaS, se non al grande pubblico, allora "LMaaS dovrebbe almeno essere disponibile per revisori/valutatori/red team con restrizioni sulla condivisione".

Le aziende, propongono, non dovrebbero eliminare del tutto i vecchi modelli linguistici mentre ne lanciano di nuovi. O, almeno, "tutti i parametri che compongono un modello dovrebbero essere sottoposti ad hashing e un registro dei 'commit del modello' dovrebbe essere offerto dai manutentori del modello all'utente, mentre il manutentore aggiorna il modello." E il settore, comprese riviste e conferenze, dovrebbe “scoraggiare l’uso di modelli” che non perseguono tali precauzioni.

Per il benchmarking, è necessario sviluppare strumenti per testare quali elementi un LMaaS ha assimilato dai suoi suggerimenti, in modo che la linea di base possa essere impostata con precisione.

Chiaramente, con LMaaS, il tema dell’etica dell’IA è entrato in una nuova fase, in cui le informazioni critiche sono tenute sotto chiave, rendendo le scelte etiche una questione più difficile per tutti rispetto al passato.