Gemini di Google continua il pericoloso offuscamento della tecnologia AI
La mancanza di divulgazione da parte dell'azienda, sebbene non sorprendente, è resa ancora più sorprendente da un'omissione molto grande: le carte modello. Ecco perché.
Fino a quest’anno era possibile imparare molto sulla tecnologia dell’intelligenza artificiale semplicemente leggendo la documentazione di ricerca pubblicata da Google e da altri leader dell’intelligenza artificiale con ogni nuovo programma rilasciato. La divulgazione aperta era la norma per il mondo dell’intelligenza artificiale.
Tutto è cambiato nel marzo di quest'anno, quando OpenAI ha deciso di annunciare il suo ultimo programma, GPT-4, quasi senza dettagli tecnici. Il documento di ricerca fornito dall'azienda ha oscurato quasi ogni dettaglio importante di GPT-4 che avrebbe consentito ai ricercatori di comprenderne la struttura e di tentare di replicarne gli effetti.
La settimana scorsa, Google ha continuato questo nuovo approccio di offuscamento, annunciando il rilascio formale del suo nuovo programma di intelligenza artificiale generativa, Gemini, sviluppato in collaborazione con la sua unità DeepMind, che è stata presentata per la prima volta a maggio. I ricercatori di Google e DeepMind hanno offerto un post sul blog privo di specifiche tecniche e un rapporto tecnico di accompagnamento quasi completamente privo di dettagli tecnici rilevanti.
Gran parte del post sul blog e del rapporto tecnico citano una serie di punteggi di benchmark, con Google che si vanta di battere il GPT-4 di OpenAI nella maggior parte delle misurazioni e di battere l'ex principale rete neurale di Google, PaLM.
Né il blog né il documento tecnico includono dettagli chiave che erano consueti negli anni passati, come il numero di "parametri" o "pesi" della rete neurale del programma, un aspetto chiave del suo design e del suo funzionamento. Invece, Google fa riferimento a tre versioni di Gemini, con tre diverse dimensioni, "Ultra", "Pro" e "Nano". Il documento rivela che Nano è addestrato con due diversi conteggi di peso, 1,8 miliardi e 3,25 miliardi, mentre non rivela i pesi delle altre due dimensioni.
Mancano numerosi altri dettagli tecnici, proprio come nel documento tecnico GPT-4 di OpenAI. In assenza di dettagli tecnici, il dibattito online si è concentrato sul fatto se il vanto dei benchmark significhi qualcosa.
Il ricercatore di OpenAI Rowan Zellers ha scritto su X (ex Twitter) che Gemini è "straordinariamente impressionante" e ha aggiunto: "Inoltre, non ho la minima idea di quanto fidarmi della dozzina circa di benchmark testuali su cui riportano tutti i documenti LLM". in questi giorni."
😂 parlando più seriamente però --
il modello Gemini è davvero impressionante (non vedo l'ora di giocare con i nuovi aspetti multimodali!)
Inoltre, non ho la minima idea di quanto fidarmi del una dozzina circa di benchmark testuali riportati da tutti i documenti LLM in questi giorni 😀— Rowan Zellers (@rown) 7 dicembre 2023
Kyle Wiggers del sito di notizie tecnologiche TechCrunch riporta aneddoti di scarse prestazioni del motore di ricerca Bard di Google, potenziato da Gemini. Cita post su X di persone che pongono domande a Bard come curiosità sui film o suggerimenti sul vocabolario e segnalano i fallimenti.
Il fango è un fenomeno comune nell'introduzione di una nuova tecnologia o prodotto. In passato, tuttavia, i dettagli tecnici consentivano agli esterni di effettuare una valutazione più informata delle capacità valutando le differenze tecniche tra l'ultimo programma e gli immediati predecessori del programma, come PaLM.
In mancanza di tali informazioni, le valutazioni vengono effettuate in modo approssimativo, da parte di persone che digitano a caso cose a Bard.
L'improvviso passaggio alla segretezza da parte di Google e OpenAI sta diventando un importante problema etico per l'industria tecnologica perché nessuno sa, al di fuori dei fornitori - OpenAI e il suo partner Microsoft, o, in questo caso, l'unità Google Cloud di Google - cosa sta succedendo nella scatola nera dei loro cloud informatici.
In ottobre, gli studiosi Emanuele La Malfa dell'Università di Oxford e i collaboratori dell'Alan Turing Institute e dell'Università di Leeds, avevano avvertito che l'oscurità del GPT-4 e di altri modelli "causa un problema significativo" per l'IA per la società, vale a dire che, "I modelli più potenti e rischiosi sono anche i più difficili da analizzare."
La mancanza di divulgazione da parte di Google, sebbene non sorprendente data la sua battaglia commerciale con OpenAI e il partner Microsoft, per la quota di mercato, è resa più sorprendente da un'omissione molto grande: le carte modello.
Le schede modello sono una forma di divulgazione standard utilizzata nell'intelligenza artificiale per riportare i dettagli delle reti neurali, compresi i potenziali danni del programma (incitamento all'odio, ecc.). Sebbene il rapporto GPT-4 di OpenAI abbia omesso la maggior parte dei dettagli, ha almeno fatto un fa un cenno alle schede modello con una sezione "Scheda di sistema GPT-4" nel documento, che si dice sia ispirata alle schede modello.
Google non si spinge nemmeno così lontano, omettendo qualcosa che assomigli alle schede modello. L’omissione è particolarmente strana dato che le carte modello sono state inventate in Google da un team che comprendeva Margaret Mitchell, ex co-responsabile di Ethical AI presso Google, e l’ex co-responsabile Timnit Gebru.
Invece delle carte modello, il rapporto offre un passaggio breve e piuttosto bizzarro sull'implementazione del programma con un linguaggio vago sull'avere delle carte modello ad un certo punto:
Una volta completate le revisioni, vengono create schede modello ?? [enfasi Google] per ciascun modello Gemini approvato per una documentazione interna strutturata e coerente delle prestazioni critiche e delle metriche di responsabilità, nonché per informare un'adeguata comunicazione esterna di questi metriche nel tempo.
Se Google mette dei punti interrogativi accanto alle schede modello nella propria informativa tecnica, ci si deve chiedere quale sarà il futuro della supervisione e della sicurezza per le reti neurali.