Il gioco 'Umano o no' è finito: ecco cosa ci dice l'ultimo Test di Turing

Lo scopo di questo esperimento era abbastanza semplice: chattare per due minuti e poi indovinare se l'altro partecipante era un essere umano o un bot. Potresti indovinare?

AI21 Labs ha condotto un esperimento sociale questa primavera in cui più di 2 milioni di partecipanti hanno intrapreso più di 15 milioni di conversazioni attraverso il suo sito web. Alla fine di ogni chat, un partecipante doveva indovinare se il proprio interlocutore era un essere umano o un robot AI. Quasi un terzo ha indovinato male.

Man mano che ChatGPT e altri chatbot di intelligenza artificiale diventano più popolari, crescono anche le domande su se tali strumenti di intelligenza artificiale possano essere intelligenti quanto gli esseri umani, se il contenuto generato da questi strumenti possa passare per creazioni umane e se l’intelligenza artificiale minacci il lavoro delle persone.

AI21 Labs ha trovato ispirazione per il progetto "Human or Not?" esperimento basato sulla valutazione di Alan Turing della capacità di una macchina di mostrare un livello di intelligenza indistinguibile da quello di un essere umano.

Questo tipo di esperimento divenne noto come Test di Turing, sulla base dell'osservazione del matematico del 1950: "Credo che tra 50 anni sarà possibile far sì che i computer giochino così bene al gioco dell'imitazione che un interrogatore medio non hanno più del 70% di possibilità di effettuare la corretta identificazione dopo 5 minuti di interrogatorio."

I risultati dell'esperimento Human or Not supportano la previsione di Turing: nel complesso, i partecipanti all'esperimento hanno indovinato correttamente il 68% delle volte. Se abbinati a un chatbot AI, i partecipanti hanno indovinato correttamente solo circa il 60% delle volte. Quando l’interlocutore era un altro essere umano, hanno indovinato correttamente il 73% delle volte.

Sebbene questo non sia stato un test di Turing perfetto, l’esperimento Human or Not di AI21 Labs ha mostrato come i modelli di intelligenza artificiale possono imitare la conversazione umana in modo abbastanza convincente da ingannare le persone. Ciò mette in discussione le ipotesi che abbiamo sui limiti dell’IA e potrebbe avere implicazioni per l’etica dell’IA.

L’esperimento ha scoperto che i partecipanti umani hanno utilizzato diverse strategie per cercare di individuare i robot IA, come porre domande personali, informarsi sugli eventi attuali e valutare il livello di cortesia nelle risposte.

D'altra parte, gli autori hanno scoperto che i bot confondevano i giocatori con comportamenti simili a quelli umani, come usare lo slang, fare errori di battitura, essere scortesi nelle risposte e mostrare consapevolezza del contesto del gioco.

"Abbiamo creato 'Human or Not' con l'obiettivo di consentire al grande pubblico, ai ricercatori e ai politici di comprendere ulteriormente lo stato dell'intelligenza artificiale all'inizio del 2023", secondo Amos Meron, responsabile del prodotto creativo presso AI21 Labs al momento dell'esperimento . Un obiettivo, ha aggiunto, è “non considerare l’intelligenza artificiale solo come uno strumento di produttività, ma come futuri membri del nostro mondo online, in un momento in cui le persone si chiedono come l’intelligenza artificiale dovrebbe essere implementata nel nostro futuro”.

Avendolo usato personalmente mentre era disponibile, ogni volta sono stato accoppiato con degli umani e ogni volta ho indovinato correttamente. La risposta mi sembrava chiara perché i miei interlocutori usavano lo slang di Internet (idk, per esempio), si rifiutavano di rispondere alle domande o non conoscevano le risposte.

I giocatori hanno cercato di confondere gli altri giocatori imitando i chatbot dell'intelligenza artificiale, usando termini come "come modello del linguaggio dell'intelligenza artificiale", ma questo è stato spesso fatto in modo imperfetto e i partecipanti umani dall'altra parte sono stati in grado di vedere oltre i tentativi.