Ho sottoposto la versione gratuita di Perplexity.ai ai miei test di codifica: ecco cosa è successo

Chi sapeva che Perplexity.ai avrebbe battuto così tanti altri chatbot IA in termini di abilità di codifica?

Ho testato le capacità di codifica di molti strumenti di intelligenza artificiale generativa per ZDNET e questa volta è il turno di Perplexity.

Perplexity sembra un incrocio tra un motore di ricerca e un chatbot AI. Quando ho chiesto a Perplexity in cosa differisce da altri strumenti di intelligenza artificiale generativa, il chatbot ha risposto che utilizza l’accesso alle informazioni in tempo reale, indicizzando il web quotidianamente. Gli utenti possono restringere le ricerche chiedendo a Perplexity di concentrarsi su fonti o piattaforme.

La versione gratuita di Perplexity è piuttosto limitata. Utilizza il modello GPT-3.5 di OpenAI per l'analisi, consente solo cinque domande al giorno e, sebbene supporti il caricamento di documenti, tali caricamenti sono limitati a tre al giorno.

La versione Pro di Perplexity costa $20 al mese. Quella versione consente ricerche "rapide" illimitate, 600 ricerche Pro al giorno e opzioni del modello AI. Puoi scegliere tra GPT-4o, Claude 3, Sonar Large (LLaMa 3) e altri. La versione Pro fornisce anche 5$al mese in crediti API.

Abbiamo deciso di rinunciare alla Pro ed eseguire la versione gratuita per il nostro test iniziale delle capacità di programmazione di Perplexity. Ho eseguito questi test di codifica su chatbot AI con risultati diversi. Se vuoi seguire, punta il tuo browser su "Come testo l'abilità di codifica di un chatbot AI - e puoi farlo anche tu", che contiene tutti i test standard che applico, spiegazioni su come funzionano e dettagli su cosa cercare in i risultati.

Ora esaminiamo i risultati di ciascun test e vediamo come si confrontano con i test precedenti utilizzando Claude 3.5 Sonnet, Microsoft Copilot, Meta AI, Meta Code Llama, Google Gemini Advanced e ChatGPT.

1. Scrivere un plugin per WordPress

Questa sfida chiede diverse cose. Innanzitutto, chiede al chatbot di creare un'interfaccia utente per l'immissione di righe da randomizzare (ma non deduplicate). Quindi il test richiede che il chatbot crei un pulsante che non solo randomizzi l'elenco ma assicuri che eventuali elementi duplicati vengano presentati in modo tale che non siano uno accanto all'altro nell'elenco risultante.

Finora, la maggior parte dei chatbot AI, ad eccezione di Meta Code Llama, hanno creato un'interfaccia utente abbastanza ragionevole. Alcuni erano più attraenti di altri, ma tutti facevano il loro lavoro.

Tuttavia, solo ChatGPT (basato su GPT-3.5, GPT-4 e GPT-4o) ha prodotto l'output randomizzato corretto. La maggior parte degli altri chatbot con intelligenza artificiale presentavano semplicemente un pulsante che, una volta cliccato, non faceva nulla.

La perplessità ha funzionato. Ha prodotto un'interfaccia utente precisa rispetto alle specifiche e il pulsante Randomizza ha funzionato e ha separato le linee duplicate.

Ecco i risultati complessivi di questo e dei test precedenti:

• Perplessità: Interfaccia: buona, funzionalità: buona
• Claude 3.5 Sonetto: Interfaccia: buona, funzionalità: pessima
• ChatGPT utilizzando GPT-4o: Interfaccia: buona, funzionalità: buona
• Microsoft Copilot: Interfaccia: adeguata, funzionalità: fallita
• Meta AI: Interfaccia: adeguata, funzionalità: fallita
• Meta Code Llama: fallimento completo
• Google Gemini Advanced: Interfaccia: buona, funzionalità: pessima
• ChatGPT utilizzando GPT-4: Interfaccia: buona, funzionalità: buona
• ChatGPT utilizzando GPT-3.5: Interfaccia: buona, funzionalità: buona

2. Riscrivere una funzione di stringa

Questo test risolve una funzione di convalida che controlla dollari e centesimi.

Il mio codice originale era errato e consentiva solo dollari interi, ma nessun centesimo. L'ho scoperto quando un utente ha inviato una segnalazione di bug. Inizialmente ho fornito il codice errato a ChatGPT, che ha fatto un buon lavoro riscrivendo la funzione per consentire importi in dollari e due cifre a destra del punto decimale.

Anche la perplessità ha superato questa prova.

Il codice generato avrebbe potuto essere più ristretto, ma ha funzionato. Nel caso in cui la stringa fornita dall'utente contenesse solo zeri, l'implementazione di Perplexity rimuoveva tutto. Per compensare, Perplexity ha prima controllato lo zero.

Questo approccio è praticabile, ma l'espressione regolare Perplexity generata avrebbe potuto essere scritta per tenere conto di questa variazione. È una scelta di implementazione semplice e molti programmatori qualificati avrebbero intrapreso entrambe le strade, quindi l'approccio di Perplexity è accettabile.

Il codice di Perplexity ha testato correttamente i dati inviati per garantire che corrispondessero al formato dollari e centesimi. Il codice ha quindi convertito la stringa in un numero. Ha inoltre controllato se il numero analizzato era valido e non negativo.

Nel complesso, Perplexity ha prodotto un codice solido. Ecco i risultati complessivi di questo e dei test precedenti:

• Perplessità: Riuscito
• Claude 3.5 Sonetto: fallito
• ChatGPT utilizzando GPT-4o: riuscito
• Microsoft Copilot: non riuscito
• Meta AI: non riuscita
• Meta Code Llama: riuscito
• Google Gemini Advanced: non riuscito
• ChatGPT utilizzando GPT-4: riuscito
• ChatGPT utilizzando GPT-3.5: riuscito

3. Trovare un bug fastidioso

Un bug nel mio codice mi ha confuso, quindi mi sono rivolto a ChatGPT per chiedere aiuto. A quanto pare, la fonte del problema non era intuitivamente ovvia, motivo per cui non l'ho capito.

Un errore nel passaggio di parametri richiede la conoscenza di come funziona il framework WordPress. Non ho notato il bug perché PHP sembrava implicare che il problema fosse in una parte del codice quando, in realtà, il problema riguardava il modo in cui il codice passava attraverso un'operazione specifica di WordPress.

Perplexity ha individuato il problema e ha diagnosticato correttamente la soluzione.

Ecco i risultati complessivi di questo e dei test precedenti:

• Perplessità: Riuscito
• Claude 3.5 Sonetto: riuscito
• ChatGPT utilizzando GPT-4o: riuscito
• Microsoft Copilot: non riuscito
• Meta AI: riusata
• Meta Code Llama: non riuscito
• Google Gemini Advanced: non riuscito
• ChatGPT utilizzando GPT-4: riuscito
• ChatGPT utilizzando GPT-3.5: riuscito

4. Scrivere una sceneggiatura

Questo test finale analizza l'ampiezza della base di conoscenza del chatbot AI. Il test richiede la generazione di codice che richiede la conoscenza del modello di oggetto documento Chrome, di AppleScript e di uno strumento di scripting Mac di terze parti chiamato Keyboard Maestro.

Perplexity non sembrava sapere di Keyboard Maestro, quindi non ha scritto la chiamata necessaria al linguaggio di scripting per recuperare il valore di una variabile.

Anche Perplexity ha commesso lo stesso errore commesso da Claude 3.5 Sonnet, generando una riga di codice AppleScript che avrebbe prodotto un messaggio di errore di sintassi durante l'esecuzione. Questo errore indica una mancanza di conoscenza su come AppleScript ignora le maiuscole e le minuscole e su dove considera il caso di una stringa quando confronta due valori.

Ecco i risultati complessivi di questo e dei test precedenti:

• Perplessità: fallito
• Claude 3.5 Sonetto: fallito
• ChatGPT utilizzando GPT-4o: riuscito ma con prenotazioni
• Microsoft Copilot: non riuscito
• Meta AI: non riuscita
• Meta Code Llama: non riuscito
• Google Gemini Advanced: riuscito
• ChatGPT utilizzando GPT-4: riuscito
• ChatGPT utilizzando GPT-3.5: non riuscito

Risultati complessivi

Ecco i risultati complessivi delle quattro prove:

• Perplessità: 3 su 4 ci sono riusciti
• Claude 3.5 Sonetto: 1 su 4 è riuscito
• ChatGPT utilizzando GPT-4o: 4 su 4 hanno avuto successo ma con un avvertimento
• Microsoft Copilot: 0 su 4 riusciti
• Meta AI: 1 su 4 ha avuto successo
• Meta Code Llama: 1 su 4 riuscito
• Google Gemini Advanced: 1 su 4 ha avuto successo
• ChatGPT utilizzando GPT-4: 4 su 4 riusciti
• ChatGPT utilizzando GPT-3.5: 3 su 4 riusciti

Nel complesso, Perplexity è andato bene. Pensavo che il chatbot AI avrebbe potuto fallire il quarto test, perché GPT-3.5 lo ha fatto e la versione gratuita di Perplexity utilizza il modello GPT-3.5.

Sono rimasto sorpreso da questi risultati perché anche Copilot di Microsoft dovrebbe utilizzare il motore AI di OpenAI, ma Copilot ha fallito praticamente in tutto. Perplexity rispecchiava i risultati di GPT-3.5, il che ha senso poiché la versione gratuita utilizza GPT-3.5.

Fammi sapere se vuoi vedere come si comporta Perplexity Pro. Se ricevo abbastanza richieste, mi iscriverò a Yet Another Monthly AI Fee ed effettuerò alcuni test.

Hai provato la versione gratuita di Perplexity o la versione Pro? Fatecelo sapere nei commenti qui sotto.

Puoi seguire gli aggiornamenti quotidiani sui miei progetti sui social media. Assicurati di iscriverti alla mia newsletter di aggiornamento settimanale e seguimi su Twitter/X su @DavidGewirtz, su Facebook su Facebook.com/DavidGewirtz, su Instagram su Instagram.com/DavidGewirtz e su YouTube su YouTube.com/DavidGewirtzTV.