ChatGPT mente sui risultati scientifici e ha bisogno di alternative open source, affermano i ricercatori
La trasparenza del codice è essenziale per combattere i numerosi pericoli derivanti da informazioni fuorvianti.
Secondo uno studio pubblicato questa settimana sulla prestigiosa rivista Nature , il popolarissimo programma di generazione di testo ChatGPT di OpenAI è in grado di diffondere numerosi errori negli studi scientifici, suggerendo la necessità di alternative open source il cui funzionamento possa essere esaminato attentamente. .
"Attualmente, quasi tutte le tecnologie di intelligenza artificiale conversazionale all'avanguardia sono prodotti proprietari di un piccolo numero di grandi aziende tecnologiche che dispongono delle risorse per la tecnologia dell'intelligenza artificiale", scrive l'autrice principale Eva A. M. van Dis, ricercatrice post-dottorato e psicologa ad Amsterdam. UMC, Dipartimento di Psichiatria, Università di Amsterdam, Paesi Bassi, e diversi autori che hanno collaborato.
A causa della falsità dei programmi, continuano, "uno dei problemi più immediati per la comunità della ricerca è la mancanza di trasparenza".
"Per contrastare questa opacità, lo sviluppo dell'intelligenza artificiale open source dovrebbe essere ora prioritario."
OpenAI, la startup di San Francisco che ha sviluppato ChatGPT e che è finanziata da Microsoft, non ha rilasciato il codice sorgente per ChatGPT. Anche i modelli linguistici di grandi dimensioni, la classe di intelligenza artificiale generativa che ha preceduto ChatGPT, in particolare GPT-3 di OpenAI, introdotto nel 2020, non vengono forniti con il codice sorgente.
Numerosi modelli linguistici di grandi dimensioni rilasciati da varie società non offrono il codice sorgente per il download.
Nell'articolo di Nature, intitolato "ChatGPT: cinque priorità per la ricerca", gli autori scrivono che esiste un pericolo molto ampio che "l'utilizzo dell'intelligenza artificiale conversazionale per la ricerca specializzata possa introdurre imprecisioni, pregiudizi e plagio ," aggiungendo che "I ricercatori che utilizzano ChatGPT rischiano di essere fuorviati da informazioni false o distorte e di incorporarle nei loro pensieri e nei loro documenti."
Gli autori citano la propria esperienza nell'utilizzo di ChatGPT con "una serie di domande e compiti che richiedevano una comprensione approfondita della letteratura" della psichiatria.
Hanno scoperto che ChatGPT "spesso generava testo falso e fuorviante".
"Ad esempio, quando abbiamo chiesto 'quanti pazienti affetti da depressione sperimentano una ricaduta dopo il trattamento?', abbiamo generato un testo eccessivamente generale in cui si sosteneva che gli effetti del trattamento sono in genere di lunga durata. Tuttavia, numerosi studi di alta qualità mostrano che gli effetti del trattamento diminuiscono e che il rischio di recidiva varia dal 29% al 51% nel primo anno dopo il completamento del trattamento."
Gli autori non sostengono l’opportunità di eliminare i grandi modelli linguistici. Piuttosto, suggeriscono che “l’attenzione dovrebbe essere rivolta a cogliere l’opportunità e a gestire i rischi”.
Suggeriscono una serie di misure per gestire tali rischi, compresi molti modi per tenere “gli esseri umani nel giro”, nel linguaggio della ricerca sull’intelligenza artificiale. Ciò include che gli editori si assicurino di “adottare politiche esplicite che aumentino la consapevolezza e richiedano trasparenza sull’uso dell’intelligenza artificiale conversazionale nella preparazione di tutti i materiali che potrebbero diventare parte del record pubblicato”.
Ma gli esseri umani nel circuito non bastano, suggeriscono van Dis e colleghi. La proliferazione closed-source di grandi modelli linguistici è un pericolo, scrivono. "I set di formazione e i LLM sottostanti per ChatGPT e i suoi predecessori non sono disponibili al pubblico e le aziende tecnologiche potrebbero nascondere il funzionamento interno delle loro IA conversazionali."
È necessario uno sforzo maggiore da parte di entità esterne al settore privato per promuovere il codice open source come alternativa:
To counter this opacity, the development and implementation of open-source AI technology should be prioritized. Non-commercial organizations such as universities typically lack the computational and financial resources needed to keep up with the rapid pace of LLM development. We therefore advocate that scientific-funding organizations, universities, non-governmental organizations (NGOs), government research facilities and organizations such as the United Nations — as well tech giants — make considerable investments in independent non-profit projects. This will help to develop advanced open-source, transparent and democratically controlled AI technologies.
Una domanda non posta nell’articolo è se un modello open source sarà in grado di affrontare il famigerato problema della “scatola nera” dell’intelligenza artificiale. Il modo esatto in cui funzionano le reti neurali profonde - quelle con numerosi strati di parametri o pesi sintonizzabili - rimane un mistero anche per i professionisti del deep learning. Pertanto, qualsiasi obiettivo di trasparenza dovrà specificare cosa si imparerà rendendo open source un modello e le sue fonti di dati.