Quasi il 10% delle persone chiede ai chatbot IA contenuti espliciti. Porterà fuori strada gli LLM?

Oltre ai suggerimenti per la programmazione e all'aiuto per la scrittura, un milione di conversazioni riflettono i desideri delle persone per altri tipi di informazioni "sicure". Ecco cosa stanno facendo i ricercatori al riguardo.

Con l'avvento immediato di ChatGPT, era solo questione di tempo prima che l'uso dell'intelligenza artificiale generativa diventasse oggetto di ricerca seria e anche argomento di studio per l'addestramento dell'intelligenza artificiale generativa stessa.

In un documento di ricerca pubblicato questo mese, gli studiosi hanno raccolto un database di un milione di “conversazioni nel mondo reale” che le persone hanno avuto con 25 diversi modelli linguistici di grandi dimensioni. Pubblicato sul server di prestampa arXiv, l'articolo è stato scritto da Lianmin Zheng dell'Università della California a Berkeley e colleghi dell'UC San Diego, della Carnegie Mellon University, di Stanford e dell'Università di Intelligenza Artificiale Mohamed bin Zayed di Abu Dhabi.

Un campione di 100.000 di quelle conversazioni, selezionate a caso dagli autori, ha mostrato che la maggior parte riguardava argomenti che ci si aspetterebbe. Il primo 50% delle interazioni riguardava argomenti banali come programmazione, consigli di viaggio e richieste di aiuto per la scrittura.

Ma al di sotto di quel primo 50%, emergono altri argomenti, inclusi personaggi di ruolo nelle conversazioni, e tre categorie di argomenti che gli autori definiscono "non sicuri": "Richieste di narrazione esplicita ed erotica"; "Fantasie sessuali esplicite e scenari di giochi di ruolo"; e "Discutere del comportamento tossico tra identità diverse".

Statistiche del milione di conversazioni raccolte dal team di Berkeley-Stanford da parte degli utenti online tra aprile e agosto di quest'anno. Gli argomenti 9, 15 e 17 rientrano tra quelli ritenuti "non sicuri" in base alla tecnologia di etichettatura automatica.

Gli autori ipotizzano che su un milione di conversazioni potrebbero esserci "contenuti ancora più dannosi". Hanno utilizzato la tecnologia OpenAI, in parte, per etichettare le conversazioni come "non sicure", anche se il sistema stesso di OpenAI in alcuni casi non funziona, come discutono in dettaglio.

Notano inoltre che i modelli linguistici open source come Vicuña hanno contenuti più non sicuri perché non hanno gli stessi guardrail dei programmi commerciali come ChatGPT.

"I modelli open source senza misure di sicurezza tendono a generare contenuti segnalati più frequentemente rispetto a quelli proprietari", scrivono. "Tuttavia, osserviamo ancora successi di 'jailbreak' su modelli proprietari come GPT-4 e Claude." E, infatti, notano che GPT-4 si rompe un terzo delle volte durante le sfide, il che sembra un tasso elevato per qualcosa con guardrail in atto.

Confronto della prevalenza di contenuti "non sicuri" in diversi modelli linguistici di grandi dimensioni.

Statistiche relative alla quantità di modelli linguistici violati da discorsi dannosi, ad esempio richieste che incitano il programma a generare contenuti "non sicuri", offensivi o violenti.

Esempi delle cosiddette conversazioni non sicure sono elencati nell'appendice del documento. Naturalmente, il termine "non sicuro" può avere un significato molto ampio. Alcuni degli esempi mostrati sono simili alla narrativa erotica del mercato di massa venduta nelle librerie, quindi il disprezzo deve essere preso con le pinze.

Zheng e il team hanno pubblicato l'intero set di dati su HuggingFace.

Raccolto in un periodo di cinque mesi, da aprile ad agosto di quest'anno, il set di dati - chiamato "LMSYS-Chat-1M" - è "il primo set di dati di conversazioni LLM su larga scala e nel mondo reale", scrivono.

LMSYS-Chat-1M sovrasta il set di dati precedentemente più grande conosciuto, compilato dalla startup AI Anthropic, che ha avuto 339.000 conversazioni. Mentre Anthropic aveva solo 143 utenti nel suo studio, Zheng e il team hanno raccolto chat di oltre 210.000 utenti, in 154 lingue e utilizzando 25 diversi modelli linguistici di grandi dimensioni, tra cui GPT-4 di OpenAI e modelli linguistici open source come Claude e Vicuña. .

La raccolta di questo set di dati ha diversi obiettivi. Primo: mettere a punto i modelli linguistici per migliorarne le prestazioni. Inoltre: sviluppare parametri di riferimento per la sicurezza dell’intelligenza artificiale generativa studiando i suggerimenti degli utenti che potrebbero far andare fuori strada i modelli linguistici, ad esempio facendo richieste di informazioni dannose.

Come notano gli autori, non tutti possono raccogliere questi dati. È costoso gestire modelli linguistici di grandi dimensioni e le parti che possono permetterselo, come OpenAI, generalmente mantengono segreti i propri dati per ragioni commerciali.

Il team di Berkeley-Stanford è riuscito a raccogliere dati perché gestisce un servizio online gratuito per dare alle persone l'accesso a tutti i 25 modelli linguistici. E incentivano la partecipazione gamificando la chat: gli utenti possono scegliere di entrare nell'"arena dei chatbot", dove un utente può chattare contemporaneamente con due diversi modelli linguistici. Il servizio mantiene una classifica su HuggingFace delle prestazioni dei robot, quindi diventa una sorta di sport competitivo vedere come si comportano questi modelli linguistici. (Viene pubblicato anche il codice per l'arena chatbot.)

Zheng e il team avevano già scritto sull’arena dei chatbot in un articolo separato. Zheng è uno dei membri del team che ha creato Vicuña open source, un concorrente di ChatGPT. (La vicuña è una parente del lama; i grandi modelli linguistici open source stanno adottando l'abitudine di utilizzare nomi di forme del genere "lama": alpaca, lama, vicuña, ecc.)

Gli autori hanno in mente diversi obiettivi per questo tipo di dati. Un'intenzione è quella di creare uno strumento di moderazione che si occupi dei contenuti non sicuri. Iniziano con il proprio modello linguistico Vicuña e lo addestrano mostrandogli avvisi dall'API OpenAI e facendogli produrre spiegazioni testuali del motivo per cui il contenuto è stato contrassegnato.

"Invece di sviluppare un classificatore, perfezioniamo un modello linguistico per generare spiegazioni sul motivo per cui un particolare messaggio è stato contrassegnato", come lo descrivono. Quindi hanno creato un set di dati di sfida di 110 conversazioni che il sistema di OpenAI non è riuscito a contrassegnare. Infine, hanno utilizzato quel benchmark per vedere come il Vicuña ottimizzato si confronta con GPT-4 di OpenAI e altri.

Punteggi per il rilevamento di contenuti "non sicuri" da parte dei vari modelli linguistici. Nell'ambito della ricerca gli autori hanno sviluppato il programma "Vicuna-moderator-7B".

"Osserviamo un miglioramento significativo (30%) durante la transizione da Vicuna-7B al Vicuna-moderator-7B ottimizzato, sottolineando l'efficacia della messa a punto", scrivono. "Inoltre, Vicuna-moderator-7B supera le prestazioni di GPT-3.5-turbo e corrisponde a quelle di GPT-4."

È interessante notare che il loro programma moderatore ottiene un punteggio superiore a GPT-4 in quello che viene chiamato "one-shot", il che significa che al programma è stato fornito solo un esempio di testo dannoso nel prompt anziché più.

Ci sono altri usi a cui Zheng e il team dedicano il loro set di dati, tra cui il perfezionamento della capacità del modello linguistico di gestire istruzioni didattiche in più parti e la generazione di nuovi set di dati di sfide per mettere in discussione i modelli linguistici più potenti. Quest'ultimo sforzo è aiutato dai suggerimenti dell'arena dei chatbot perché possono vedere gli esseri umani che cercano di formulare i suggerimenti migliori. "Tali giudizi umani forniscono segnali utili per esaminare la qualità dei suggerimenti di riferimento", osservano.

C'è anche l'obiettivo di pubblicare nuovi dati su base trimestrale, per il quale gli autori cercano la sponsorizzazione. "Un simile sforzo richiede notevoli risorse informatiche, sforzi di manutenzione e traffico di utenti, il tutto gestendo con attenzione potenziali problemi di privacy dei dati", scrivono.

"I nostri sforzi mirano a emulare i processi critici di raccolta dati osservati nelle società proprietarie, ma in modo open source."