Il mini GPT-4o appena rilasciato di OpenAI domina la Chatbot Arena. Ecco perché.
Nonostante sia una versione più compatta - e molto più economica - del GPT-4o, il modello lanciato una settimana fa sta spazzando via i concorrenti.
Una settimana fa, OpenAI ha rilasciato GPT-4o mini. In così poco tempo, è già stato aggiornato e ha scalato le classifiche della Chatbot Arena della Large Model Systems Organization (LMSYS), davanti a giganti come Claude 3.5 Sonnet e Gemini Advanced.
LMSYS Chatbot Arena è una piattaforma di crowdsourcing in cui gli utenti possono valutare modelli linguistici di grandi dimensioni (LLM) chattando con due LLM fianco a fianco e confrontando le loro risposte tra loro senza conoscere i nomi dei modelli.
Subito dopo la sua presentazione, GPT-4o mini è stato aggiunto all'Arena, dove è rapidamente salito in cima alla classifica dietro GPT-4o. Ciò è particolarmente degno di nota perché GPT-4o mini è 20 volte più economico del suo predecessore.
Emozionante aggiornamento di Chatbot Arena: è uscito il risultato di GPT-4o mini!
Con oltre 4.000 voti da parte degli utenti, GPT-4o mini sale in cima alla classifica, ora al primo posto con GPT-4o pur essendo 20 volte più economico! Significativamente migliore della sua prima versione ("upcoming-gpt-mini") in Arena su tutti i fronti.… pic.twitter.com/xanm2Bqtg9
Una volta pubblicati i risultati, alcuni utenti si sono rivolti ai social media per esprimere apprensioni su come un mini modello così nuovo potesse classificarsi più in alto rispetto a modelli più consolidati, robusti e capaci come Claude 3.5 Sonnet. Per rispondere a queste preoccupazioni, LMSYS, pubblicando su X, ha spiegato i fattori che contribuiscono all'alto posizionamento di GPT-4o mini, evidenziando che le posizioni della Chatbot Arena sono informate dalle preferenze umane a seconda dei voti.
Emozionante aggiornamento di Chatbot Arena: è uscito il risultato di GPT-4o mini!
Con oltre 4.000 voti da parte degli utenti, GPT-4o mini sale in cima alla classifica, ora al primo posto con GPT-4o pur essendo 20 volte più economico! Significativamente migliore della sua prima versione ("upcoming-gpt-mini") in Arena su tutti i fronti.… pic.twitter.com/xanm2Bqtg9
Per gli utenti interessati a scoprire quale modello funziona meglio, LMSYS li incoraggia a esaminare le suddivisioni per categoria per comprendere le capacità tecniche. È possibile accedervi facendo clic sul menu a discesa Categoria che dice "Complessivo" e selezionando una categoria diversa. Quando visiti le varie suddivisioni per categoria, come codifica, istruzioni difficili e query più lunghe, vedrai una variazione nei risultati.
Nella categoria codifica, GPT-4o mini è al terzo posto dietro GPT-4o e Claude 3.5 Sonnet, che occupa il primo posto. Tuttavia, GPT-4o mini è il numero uno in altre categorie, come multigiro, conversazioni maggiori o uguali a due turni e query di query più lunghe pari o superiori a 500 token.
Chatbot Arena risulta nella categoria "codifica".
Se vuoi provare GPT-4o mini, visita il sito ChatGPT e accedi al tuo account OpenAI. Se preferisci partecipare alla Chatbot Arena e lasciare che la fortuna ti mostri GPT-4o mini, puoi iniziare visitando il sito Web, facendo clic su Arena fianco a fianco e quindi inserendo un messaggio di esempio.