Claude 3 supera GPT-4 nel duello tra i robot IA. Ecco come entrare in azione
Il modello Claude 3 Opus AI di Anthropic ha strappato il primo posto al GPT-4 di OpenAI alla Chatbot Arena, un sito che mette a confronto un modello di chatbot con un altro.
Spostati, GPT-4. Un altro modello di intelligenza artificiale ha conquistato il tuo territorio e il suo nome è Claude.
Questa settimana, Claude 3 Opus AI LLM di Anthropic ha conquistato il primo posto nella classifica di Chatbot Arena, un sito web che testa e confronta l'efficacia di diversi modelli di intelligenza artificiale. Con una delle varianti GPT-4 spinta al secondo posto nella classifica del sito, questo ha segnato la prima volta che Claude ha superato un modello AI di OpenAI.
Disponibile sul sito Web di Claude 3 e come API per sviluppatori, Claude 3 Opus è uno dei tre LLM recentemente sviluppati da Anthropic, con Sonnet e Haiku che completano il trio. Confrontando Opus e Sonnet, Anthropic pubblicizza Sonnet come due volte più veloce dei precedenti modelli Claude 2 e Claude 2.1. Opus offre velocità simili a quelle dei modelli precedenti, secondo l'azienda, ma con livelli di intelligenza molto più elevati.
Lanciata lo scorso maggio, Chatbot Arena è la creazione della Large Model Systems Organization (LMYSY Org), un'organizzazione di ricerca aperta fondata da studenti e docenti dell'Università della California, Berkeley. L'obiettivo dell'arena è aiutare i ricercatori e i professionisti dell'intelligenza artificiale a vedere come due diversi LLM di intelligenza artificiale si comportano l'uno contro l'altro quando vengono sfidati con gli stessi suggerimenti.
La Chatbot Arena utilizza un approccio crowdsourcing, il che significa che chiunque può provarlo. La pagina di chat dell'arena presenta schermate per due dei 32 possibili modelli di intelligenza artificiale diversi, tra cui Claude, GPT-3.5, GPT-4, Google's Gemini e Meta's Llama 2. Qui ti viene chiesto di digitare una domanda nel prompt all'indirizzo il fondo. Ma non sai quale LLM viene scelto in modo casuale e anonimo per soddisfare la tua richiesta. Sono semplicemente etichettati Modello A e Modello B.
Dopo aver letto entrambe le risposte dei due LLM, ti viene chiesto di valutare quale risposta preferisci. Puoi dare un cenno ad A o B, valutarli entrambi allo stesso modo o selezionare un pollice verso per segnalare che non ti piace nessuno dei due. Dopo aver inviato la tua valutazione, solo allora vengono rivelati i nomi dei due LLM.
Contando i voti inviati dagli utenti del sito, l'Org LMYSY compila i totali nella classifica mostrando il rendimento di ciascun LLM. Con le ultime classifiche, Claude 3 Opus ha ricevuto 33.250 voti con il secondo posto GPT-4-1106-preview che ha ottenuto 54.141 voti.
Per valutare i modelli di intelligenza artificiale, la classifica si rivolge al sistema di classificazione Elo, un metodo comunemente utilizzato in giochi come gli scacchi per misurare l'efficacia dei diversi giocatori. Utilizzando il sistema Elo, l'ultima classifica ha assegnato a Claude 3 Opus una classifica di 1253 e GPT-4-1106-preview una classifica di 1251.
Altre varianti LLM che sono andate bene nell'ultimo duello includono GPT-4-0125-preview, Gemini Pro di Google, Claude 3 Sonnet, GPT-4-0314 e Claude 3 Haiku. Con GPT-4 non più al primo posto e tutti e tre gli ultimi modelli Claude 3 tra i primi 10, Anthropic sta sicuramente facendo più scalpore nell'arena generale dell'IA.