Se il tuo codice generato dall'intelligenza artificiale diventa difettoso, chi deve affrontare la maggiore esposizione di responsabilità?

Una breve storia dei recenti progressi nell'intelligenza artificiale, cosa significano e perché dovrebbe interessarti o meno.

La raffica di nuovi modelli di intelligenza artificiale rilasciati da artisti del calibro di DeepMind, Google, Meta e OpenAI si sta intensificando. Ognuno di loro è diverso in qualche modo, ognuno di loro rinnova la conversazione sui propri risultati, applicazioni e implicazioni.

Imagen, come DALLE-2, Gato, GPT-3 e altri modelli di intelligenza artificiale prima di loro, sono tutti impressionanti, ma forse non per i motivi che pensi. Ecco un breve resoconto di dove siamo nella corsa all'IA e di ciò che abbiamo imparato finora.

I punti di forza e di debolezza dei modelli linguistici di grandi dimensioni

A questo ritmo, sta diventando sempre più difficile tenere traccia delle uscite, figuriamoci analizzarle. Iniziamo questa sorta di sequenza temporale con GPT-3. Scegliamo GPT-3 come base e punto di partenza per questa tempistica per una serie di motivi.

La creazione di OpenAI è stata annunciata a maggio 2020, che sembra già una vita fa. Questo è un tempo sufficiente per OpenAI per aver creato un servizio commerciale attorno a GPT-3, esponendolo come API tramite una partnership con Microsoft.

Al giorno d'oggi, c'è un numero crescente di applicazioni che utilizzano GPT-3 sotto il cofano per offrire servizi agli utenti finali. Alcune di queste applicazioni non sono molto più che generatori di testi di marketing glorificati, involucri sottili attorno all'API di GPT-3. Altri, come Viable, hanno personalizzato GPT-3 per adattarlo al loro uso e aggirarne i difetti.

GPT-3 è un Large Language Model (LLM), dove "Large" si riferisce al numero di parametri presenti nel modello. L'opinione comune attualmente tra gli esperti di intelligenza artificiale sembra essere che più grande è il modello, cioè più parametri, migliori saranno le sue prestazioni. Come punto di riferimento, notiamo che GPT-3 ha 175 miliardi di parametri, mentre BERT, l'iconico LLM rilasciato da Google nel 2018 e utilizzato oggi per alimentare il suo motore di ricerca, aveva 110 milioni di parametri.

L'idea degli LLM è semplice: utilizzare enormi set di dati di conoscenza prodotta dall'uomo per addestrare algoritmi di apprendimento automatico, con l'obiettivo di produrre modelli che simulino il modo in cui gli esseri umani usano il linguaggio. Il fatto che GPT-3 sia reso accessibile a un pubblico più ampio, oltre che commercialmente, lo ha reso bersaglio sia di elogi che di critiche.

Come ha scritto Steven Johnson sul New York Times, GPT-3 è in grado di "scrivere una prosa originale con una fluidità sbalorditiva". Questo sembra indurre le persone, Johnson incluso, a chiedersi se esista davvero un "fantasma nel guscio". GPT-3 sembra manipolare concetti di ordine superiore e inserirli in nuove combinazioni, piuttosto che imitare semplicemente modelli di testo, scrive Johnson. La parola chiave qui, tuttavia, è "sembra".

Critici come Gary Marcus, Gary N. Smith ed Emily Bender, alcuni dei quali citati anche da Johnson, hanno sottolineato i difetti fondamentali di GPT-3 al livello più elementare. Per usare le parole che Bender e i suoi co-autori hanno usato per intitolare l'ormai famoso articolo di ricerca che ha fatto espellere Timnit Gebru e Margeret Mitchell da Google, gli LLM sono "pappagalli stocastici".

Il meccanismo con cui gli LLM prevedono parola dopo parola per derivare la loro prosa è essenzialmente il rigurgito, scrive Marcus, citando i suoi scambi con l'acclamato linguista Noam Chomsky. Tali sistemi, spiega Marcus, sono addestrati letteralmente su miliardi di parole di testo digitale; Il loro dono sta nel trovare modelli che corrispondano a ciò su cui sono stati addestrati. Si tratta di un'impresa statistica superlativa, ma non che significhi, ad esempio, che il sistema sappia cosa significano le parole che utilizza come strumenti predittivi.

La frequenza del linguaggio e qualità come la polisemia possono influenzare il fatto che una rete neurale possa improvvisamente risolvere compiti per i quali non è stata specificamente sviluppata, nota come "apprendimento a pochi colpi"? DeepMind dice di sì.

Un altro filone di critiche rivolte al GPT-3 e ad altri LLM è che i risultati che producono spesso tendono a mostrare tossicità e a riprodurre pregiudizi etnici, razziali e di altro tipo. Questo non è davvero una sorpresa, tenendo presente da dove provengono i dati utilizzati per addestrare gli LLM: i dati sono tutti generati da persone e in larga misura sono stati raccolti dal web. A meno che non vengano intraprese azioni correttive, è del tutto prevedibile che gli LLM producano tale output.

Ultimo ma non meno importante, gli LLM richiedono molte risorse per essere addestrati e operati. L'aforisma di Chomsky sul GPT-3 è che "il suo unico risultato è quello di consumare molta energia della California". Ma Chomsky non è il solo a sottolinearlo. Nel 2022, DeepMind ha pubblicato un documento, "Training Compute-Optimal Large Language Models", in cui gli analisti affermano che l'addestramento degli LLM è stato effettuato con un uso profondamente subottimale del calcolo.

Detto questo, GPT-3 è una vecchia notizia, in un certo senso. Negli ultimi mesi sono stati annunciati numerosi nuovi LLM. Nell'ottobre 2021, Microsoft e Nvidia hanno annunciato Megatron - Turing NLG con 530 miliardi di parametri. Nel dicembre 2021, DeepMind ha annunciato Gopher con 280 miliardi di parametri e Google ha annunciato GLaM con 1,2 trilioni di parametri.

Nel gennaio 2022, Google ha annunciato LaMDA con 137 miliardi di parametri. Nell'aprile 2022, DeepMind ha annunciato Chinchilla con 70 miliardi di parametri e Google ha annunciato PaLM con 540 miliardi di parametri. Nel maggio 2022, Meta ha annunciato OPT-175B con 175 miliardi di parametri.

Che si tratti di dimensioni, prestazioni, efficienza, trasparenza, composizione del set di dati di addestramento o novità, ognuno di questi LLM è notevole e unico in qualche modo. Mentre la maggior parte di questi LLM rimane inaccessibile al grande pubblico, gli addetti ai lavori hanno occasionalmente parlato della presunta capacità di questi modelli di "capire" il linguaggio. Tali affermazioni, tuttavia, sembrano piuttosto esagerate.

Spingere i limiti dell'IA oltre il linguaggio

Sebbene gli LLM abbiano fatto molta strada in termini di capacità di scalabilità e qualità dei risultati che producono, le loro premesse di base rimangono le stesse. Di conseguenza, anche le loro debolezze fondamentali rimangono le stesse. Tuttavia, gli LLM non sono l'unico gioco in città quando si tratta di avanguardia nell'intelligenza artificiale.

Mentre gli LLM si concentrano sull'elaborazione dei dati di testo, esistono altri modelli di intelligenza artificiale che si concentrano sui dati visivi e audio. Questi sono utilizzati in applicazioni come la visione artificiale e il riconoscimento vocale. Tuttavia, negli ultimi anni si è assistito a un offuscamento dei confini tra le modalità dei modelli di intelligenza artificiale.

Il cosiddetto apprendimento multimodale consiste nel consolidare dati indipendenti provenienti da varie fonti in un unico modello di intelligenza artificiale. La speranza di sviluppare modelli di intelligenza artificiale multimodale è quella di essere in grado di elaborare più set di dati, utilizzando metodi basati sull'apprendimento per generare intuizioni più intelligenti.

OpenAI identifica la multimodalità come un obiettivo a lungo termine nell'IA ed è stata molto attiva in questo campo. Nei suoi ultimi annunci di ricerca, OpenAI presenta due modelli che sostiene di avvicinare questo obiettivo.

Il primo modello di intelligenza artificiale, DALL· E, è stato annunciato nel gennaio 2021. OpenAI osserva che DALL-E può trasformare con successo il testo in un'immagine appropriata per un'ampia gamma di concetti esprimibili in linguaggio naturale e utilizza lo stesso approccio utilizzato per GPT-3.

Il secondo modello di intelligenza artificiale, CLIP, anch'esso annunciato a gennaio 2021, è in grado di classificare istantaneamente un'immagine come appartenente a una delle categorie predefinite in modo "zero-shot". CLIP non deve essere messo a punto su dati specifici per queste categorie come fanno la maggior parte degli altri modelli di intelligenza artificiale visiva, superandoli nel benchmark del settore ImageNet.

Nell'aprile 2022, OpenAI ha annunciato che DALL· E 2. L'azienda osserva che, rispetto al suo predecessore, DALL-E 2 genera immagini più realistiche e accurate con una risoluzione 4 volte maggiore.

Nel maggio 2022, Google ha annunciato il proprio modello di intelligenza artificiale multimodale analogo a DALL-E, chiamato Imagen. La ricerca di Google mostra che i valutatori umani preferiscono Imagen rispetto ad altri modelli nei confronti fianco a fianco, sia in termini di qualità del campione che di allineamento immagine-testo.

La già iconica rappresentazione di DALL-E 2 di un astronauta a cavallo è stata salutata come "una pietra miliare nel viaggio dell'intelligenza artificiale per dare un senso al mondo". I critici sostengono che potrebbe essere un'esagerazione.

Il diritto di vantarsi è in costante mutamento, a quanto pare. Per quanto riguarda il fatto che questi modelli di intelligenza artificiale multimodale facciano qualcosa per affrontare le critiche sull'utilizzo delle risorse e i pregiudizi, anche se a questo punto non si sa molto, in base a ciò che si sa le risposte sembrano essere rispettivamente "probabilmente no" e "più o meno". E per quanto riguarda la parte dell'intelligence vera e propria? Diamo un'occhiata sotto il cofano per un momento.

OpenAI osserva che "DALL· E 2 ha appreso la relazione tra le immagini e il testo utilizzato per descriverle. Utilizza un processo chiamato "diffusione", che inizia con un modello di punti casuali e altera gradualmente quel modello verso un'immagine quando riconosce aspetti specifici di quell'immagine.

Google osserva che la loro "scoperta chiave è che gli LLM generici (ad esempio T5), pre-addestrati su corpora di solo testo, sono sorprendentemente efficaci nella codifica del testo per la sintesi delle immagini: l'aumento delle dimensioni del modello linguistico in Imagen aumenta sia la fedeltà dei campioni che l'allineamento immagine-testo molto più che aumentare le dimensioni del modello di diffusione delle immagini".

Mentre Imagen sembra fare molto affidamento sugli LLM, il processo è diverso per DALL-E 2. Tuttavia, sia il personale di OpenAI che quello di Google, così come gli esperti indipendenti, affermano che questi modelli mostrano una forma di "comprensione" che si sovrappone alla comprensione umana. La revisione del MIT Technology si è spinta fino a definire l'astronauta a cavallo, l'immagine che è diventata iconica per DALL-E 2, una pietra miliare nel viaggio dell'intelligenza artificiale per dare un senso al mondo.

Gary Marcus, tuttavia, non è ancora convinto. Marcus, scienziato, autore di best-seller e imprenditore, è ben noto nei circoli dell'intelligenza artificiale per le sue critiche su una serie di argomenti, tra cui la natura dell'intelligenza e cosa c'è di sbagliato nell'apprendimento profondo. Si è affrettato a sottolineare le carenze sia di DALL-E 2 che di Imagen e di impegnarsi in un dialogo pubblico, anche con le persone di Google.

Marcus condivide le sue intuizioni in un saggio intitolato "Horse rides astronaut". La sua conclusione è che aspettarsi che quei modelli siano completamente sensibili alla semantica in relazione alla struttura sintattica è un pio desiderio e che l'incapacità di ragionare è un punto di fallimento generale dei moderni metodi di apprendimento automatico e un luogo chiave per cercare nuove idee.

Ultimo ma non meno importante, nel maggio 2022, DeepMind ha annunciato Gato, un modello di intelligenza artificiale generalista. Come osserva Tiernan Ray di ZDNet, Gato è un diverso tipo di modello di intelligenza artificiale multimodale. Gato può lavorare con più tipi di dati per eseguire diversi tipi di attività, come giocare ai videogiochi, chattare, scrivere composizioni, sottotitolare immagini e controllare i blocchi di impilamento del braccio robotico. 

Come nota anche Ray, Gato fa un lavoro così così in molte cose. Tuttavia, ciò non ha impedito alle persone del team di DeepMind che ha creato Gato di esclamare che "Il gioco è finito! Si tratta di rendere questi modelli più grandi, più sicuri, più efficienti dal punto di vista del calcolo, più veloci nel campionamento, memoria più intelligente, più modalità".

La lingua, gli obiettivi e il potere di mercato di pochi

Allora, dove ci porta tutto questo? A parte il clamore, le convinzioni metafisiche e le esplosioni di entusiasmo, lo stato attuale dell'IA dovrebbe essere esaminato con sobrietà. Mentre i modelli che sono stati rilasciati negli ultimi mesi sono davvero impressionanti prodezze ingegneristiche e talvolta sono in grado di produrre risultati sorprendenti, l'intelligenza che indicano non è realmente artificiale.

L'intelligenza umana è alla base dell'impressionante ingegneria che genera questi modelli. È l'intelligenza umana che ha costruito modelli che stanno migliorando sempre di più in quello che l'articolo fondamentale di Alan Turing, Computing Machinery and Intelligence , chiamava "il gioco dell'imitazione", che è diventato noto popolarmente come "il test di Turing".

Come scrive Emily Tucker , direttore esecutivo del Center on Privacy & Technology (CPT) presso la Georgetown Law, Turing ha sostituito la domanda "le macchine possono pensare?" con la domanda se un essere umano può scambiare un computer per un altro essere umano.

Turing non offre quest'ultima domanda nello spirito di un'euristica utile per la prima domanda; Non dice che pensa che queste due domande siano versioni l'una dell'altra. Piuttosto, esprime la convinzione che la domanda "le macchine possono pensare?" non ha alcun valore, e sembra sperare affermativamente in un futuro prossimo in cui è di fatto molto difficile, se non impossibile, per gli esseri umani porsi la domanda.

In un certo senso, quel futuro potrebbe avvicinarsi rapidamente. Modelli come Imagen e DALL-E si rompono quando vengono presentati suggerimenti che richiedono un'intelligenza del tipo che gli esseri umani possiedono per essere elaborati. Tuttavia, per la maggior parte degli intenti e degli scopi, questi possono essere considerati casi limite. Ciò che i DALL-E del mondo sono in grado di generare è alla pari con gli artisti più abili.

La domanda allora è: qual è lo scopo di tutto questo. Come obiettivo in sé, spendere il tempo e le risorse che qualcosa come Imagen richiede per essere in grado di generare immagini interessanti a piacimento sembra piuttosto fuori luogo.

Vedere questo come un obiettivo intermedio verso la creazione di un'IA "reale" può essere più giustificato, ma solo se siamo disposti a sottoscrivere l'idea che fare la stessa cosa su scala sempre più grande porterà in qualche modo a risultati diversi.

Una rete neurale trasforma l'input, i cerchi a sinistra, in output, a destra. Il modo in cui ciò avviene è una trasformazione dei pesi, del centro, che spesso confondiamo con modelli nei dati stessi. 

Alla luce di ciò, l'intenzione dichiarata di Tucker di essere il più specifico possibile su cosa sia la tecnologia in questione e su come funzioni, invece di usare termini come "intelligenza artificiale e "apprendimento automatico", inizia ad avere senso a un certo livello.

Ad esempio, scrive Tucker, invece di dire "il riconoscimento facciale utilizza l'intelligenza artificiale", potremmo dire qualcosa come "le aziende tecnologiche utilizzano enormi set di dati per addestrare algoritmi in modo che corrispondano alle immagini dei volti umani". Quando una spiegazione completa è dirompente per l'argomento più ampio, o al di là dell'esperienza di CPT, indirizzeranno i lettori a fonti esterne.

A dire il vero, non sembra molto pratico in termini di leggibilità. Tuttavia, è bene tenere presente che quando si parla di "IA", si tratta davvero di una convenzione, non di qualcosa da prendere per oro colato. Sono davvero le aziende tecnologiche che utilizzano enormi set di dati per addestrare gli algoritmi a eseguire - a volte utili e/o impressionanti - imitazioni dell'intelligenza umana.

Il che, inevitabilmente, porta a più domande, come ad esempio: fare cosa, e a beneficio di chi. Come scrive Erik Brynjolfsson, economista di formazione e direttore dello Stanford Digital Economy Lab , l'eccessiva attenzione all'intelligenza artificiale simile a quella umana abbassa i salari per la maggior parte delle persone "anche se amplifica il potere di mercato di pochi" che possiedono e controllano le tecnologie.

Da questo punto di vista, l'intelligenza artificiale non è diversa da altre tecnologie che l'hanno preceduta. Ciò che potrebbe essere diverso questa volta è la velocità con cui le cose si stanno svolgendo e il grado di amplificazione del potere di pochi.