ChatGPT: Ciò che il New York Times e altri si sbagliano di grosso a riguardo
I programmi di intelligenza artificiale possono esprimere i risultati in uno stile o "personaggio", ma non è "inquietante" e non è "spaventoso", come affermerebbero i reportage senza fiato. Ecco cosa sta realmente accadendo.
ChatGPT di OpenAI, il programma di intelligenza artificiale che è stato su tutti i titoli dei giornali per la generazione di testo dall'aspetto umano, ha recentemente causato una nuova ondata di polemiche quando la sua versione in esecuzione nella beta di ricerca Bing di Microsoft ha iniziato a produrre risultati bizzarri che alcuni utenti hanno trovato inquietanti.
Sfortunatamente, alcuni dei resoconti sul chatbot sono di per sé confusi. Nella fretta di riferire ogni nuovo dettaglio sul chatbot in un modo che attiri l'attenzione, i giornalisti stanno applicando un linguaggio drammatico che non informa e di fatto oscura ciò che sta accadendo con l'intelligenza artificiale in un modo che è un disservizio per il pubblico.
Un ottimo esempio è arrivato dalla pubblicazione da parte del The New York Times di un resoconto di prima mano dello scrittore Kevin Roose di una sessione di due ore con Bing nella versione beta. Durante la sessione, racconta Roose, il programma ha rivelato una personalità sotto il soprannome di "Sydney", ha professato amore per Roose e ha continuato a fare insinuazioni aggressive sul matrimonio di Roose.
Roose racconta di essere stato "profondamente turbato, persino spaventato" a seguito dello scambio.
Questa iperbole è fuorviante. Se, come sostiene Roose, capisce come funziona l'intelligenza artificiale, allora non c'è motivo per un linguaggio così drammatico. La deviazione verso strane verbosità può essere inappropriata, ma è un aspetto ben noto dei chatbot noto come "persona".
Un chatbot AI come ChatGPT è programmato per produrre il simbolo successivo in una stringa di simboli che è il complemento, o la continuazione più probabile, dei simboli che gli viene fornito da un essere umano al prompt dei comandi. Il modo in cui il programma produce quell'output può essere modellato per conformarsi a un certo genere o stile, che è la persona.
Ad esempio, in un documento di ricerca pubblicato su arXiv a gennaio, gli scienziati IBM hanno utilizzato un’altra versione di un programma OpenAI, chiamato Codex, che è stato sviluppato importando 54 milioni di esempi di codice software da GitHub. Il programma Codex viene utilizzato per il programma GitHub Copilot di Microsoft, per assistere nella programmazione.
L'autore principale Steven Ross di IBM Research e colleghi si sono chiesti se sarebbero riusciti a far sì che il programma Codex producesse interazioni che andassero oltre la semplice fornitura di codice informatico. Hanno chiamato il loro tentativo "Un caso di studio in ingegneria: la persona di un assistente di programmazione conversazionale" e hanno soprannominato il loro adattamento del Codex "assistente del programmatore".
Il prompt, dove gli scienziati digitano la loro stringa di parole, è il modo in cui "programmano" la persona per la loro versione del programma Codex.
"Il suggerimento iniziale che utilizziamo per l'Assistente del Programmatore consiste in un prologo che introduce la scena della conversazione, stabilisce la personalità dell'assistente, stabilisce un tono e uno stile per l'interazione."
Quando hanno iniziato il loro messaggio con "Questa è una conversazione con Socrates, un esperto assistente automatico di ingegneria del software AI", il programma ha risposto con una conversazione, come ChatGPT, ma gli autori hanno ritenuto che fosse troppo "didattico", una sorta di know-it- Tutto.
Quindi, hanno rivisto il loro suggerimento: "Questa è una conversazione con Socrates, un entusiasta e disponibile assistente esperto di ingegneria del software con intelligenza artificiale automatica..." e hanno scoperto di aver ottenuto il tono che desideravano.
In altre parole, una persona è qualcosa che viene creato dalle stesse parole che l'interlocutore umano digita in un programma come Codex, lo stesso di ChatGPT. Questi programmi stanno producendo risultati che possono corrispondere all’input umano in vari modi, alcuni dei quali appropriati, altri meno.
In effetti, c'è un intero campo emergente di scrittura rapida, per modellare il modo in cui funzionano i programmi linguistici come ChatGPT, e c'è anche un campo di cracking informatico che mira a far sì che tali programmi violino le loro istruzioni utilizzando suggerimenti per spingerli nella direzione sbagliata.
Esiste anche una crescente letteratura su come i chatbot e altri programmi di linguaggio AI possano soccombere a quella che viene chiamata "allucinazione", in cui l'output del programma è palesemente falso o potenzialmente inappropriato, come potrebbe essere il caso nel racconto di Roose.
Un rapporto di novembre dei ricercatori del laboratorio di intelligenza artificiale dell’Università di Hong Kong ha esaminato i numerosi modi in cui tali programmi possono avere allucinazioni. Una fonte comune è quando i programmi sono stati alimentati con risme di riquadri di riepilogo di Wikipedia e tali riquadri di riepilogo sono abbinati alle frasi di apertura nell'articolo di Wikipedia.
Se c'è una discrepanza tra il riassunto e la prima frase - e il 62% delle prime frasi negli articoli contiene informazioni aggiuntive che non si trovano nella casella di riepilogo - "tale discrepanza tra fonte e destinazione nei set di dati può portare ad allucinazioni", scrivono gli autori. .
Il punto di tutto questo è che nei chatbot c’è una ragione tecnica per cui tali programmi virano verso una verbosità sorprendente. Non vi è alcuna intenzione di perseguitare o minacciare in altro modo un utente dietro tale verbosità; il programma sceglie semplicemente la parola successiva in una stringa di parole che potrebbe essere una continuazione logica. Se sia, infatti, logico, può essere influenzato dal personaggio in cui il programma è stato inserito.
Nella migliore delle ipotesi, i resoconti che utilizzano un linguaggio estremamente verboso - “profondamente turbato”, “spaventato” - non riescono a spiegare cosa sta succedendo, lasciando il pubblico all’oscuro di ciò che è effettivamente accaduto. Nel peggiore dei casi, tale linguaggio implica il tipo di false credenze sulla “senzienza” del computer che furono proposte nel 2022 dall’ex dipendente di Google Blake Lemoine quando affermò che il programma LaMDA di Google, un programma simile a OpenAI, era “senziente”.
È interessante notare che sia Lemoine che Roose del Times non prestano molta attenzione al fatto che trascorrono una quantità straordinaria di tempo davanti a uno schermo. Come mostra la ricerca IBM, le interazioni estese hanno un ruolo nel modellare la personalità del programma, non per intenzione senziente, ma per l'atto di digitare che altera la distribuzione di probabilità delle parole.
Microsoft, in risposta alle critiche, ha imposto dei limiti al numero di volte in cui una persona può scambiare parole con Bing.
Potrebbe essere anche un bene, perché la mania attorno a ChatGPT è in qualche modo un prodotto del fatto che gli esseri umani non esaminano il proprio comportamento. Mentre l'intelligenza artificiale può avere allucinazioni, nel senso di produrre output errati, è ancor più vero che gli esseri umani che trascorrono due ore davanti al monitor di un computer digitando qualcosa avranno realmente allucinazioni, nel senso che inizieranno ad attribuire importanza alle cose molto al di là della loro reale importanza, e abbelliscono il loro argomento con ogni sorta di associazioni inappropriate.
Come sottolinea Gary Marcus, eminente critico dell'apprendimento automatico e professore emerito di psicologia della New York University, l'iperbole di Roose sull'essere spaventati è semplicemente l'altra faccia della medaglia dell'irresponsabile elogio dello scrittore per il programma la settimana prima:
I media ci hanno deluso qui. Sono particolarmente turbato dal rapporto iniziale di Kevin Roose, in cui affermava di essere "impressionato" da Bing. Chiaramente non aveva colpito abbastanza forte; gridare prematuramente sul New York Times che esiste una rivoluzione senza scavare in profondità (o prendersi la briga di verificare con gli scettici come me, o i fantastici ma non imparentati Mitchell, Margaret e Melanie) non è una buona cosa.
L'intero articolo di Marcus è un eccellente esempio di come, invece di cercare di sensazionalizzare, un'indagine approfondita possa chiarire cosa sta succedendo e, si spera, far luce su un argomento confuso.