Ho utilizzato Copilot AI Vision per navigare sul Web e ha un grande potenziale
Chi ha davvero bisogno di un assistente AI per trovare informazioni su Internet? Dipende da cosa stai cercando.
Decenni fa, se volevi informazioni su qualsiasi cosa, andavi in biblioteca e aprivi un libro. Ciò è cambiato con l'emergere del Web e dei motori di ricerca, dove ora tutto ciò che devi fare è digitare una query di ricerca e ottenere tutte le informazioni che potresti desiderare.
Come se ciò non fosse abbastanza semplice, l'intelligenza artificiale (AI) è qui per rendere la raccolta di informazioni ancora più semplice.
All'inizio di questo mese, Microsoft ha lanciato Copilot Vision, un'esperienza in cui Copilot può visualizzare e comprendere il contesto di ciò che stai facendo online per fornire assistenza verbale in tempo reale. L'idea è che quando hai bisogno di feedback o consigli durante la navigazione, puoi attingere a un assistente live per chiedere aiuto.
L'esperienza si trova in Microsoft Edge ed è disponibile in anteprima per un gruppo selezionato di abbonati Copilot Pro con l'abbonamento di $20 al mese tramite Copilot Labs e abbonati US Copilot Pro su Finestre. Ho ottenuto l'accesso anticipato e l'ho messo alla prova. Vale la pena sottoscrivere un abbonamento per accedere a Copilot Vision? Ecco la mia esperienza.
Un assistente che capisce e vede tutto
In teoria, la ricerca sul Web è abbastanza intuitiva, quindi ottenere aiuto può sembrare superfluo. Tuttavia, quando ho vissuto l'esperienza demo di onboarding, sono rimasto piuttosto entusiasta, poiché le applicazioni sembravano davvero utili.
Casi d'uso di esempio includevano l'avere diverse immagini sullo schermo e chiedere a Copilot Vision di aiutarmi a selezionarle. In un caso, c'erano molte foto di varie razze di cani e mi è stato chiesto di chiedere a Copilot Vision di dirmi di più a voce su di loro. L'assistente ha esaminato ogni immagine e mi ha detto di più su ciascuna razza, nonostante non ci fosse testo sullo schermo.
In un altro esempio, sullo schermo c'erano immagini di diverse città, sempre senza testo, e mi è stato chiesto quale fosse la più vecchia. Copilot Vision ha identificato ogni città e ha spiegato quale era la più antica e perché.
Nel mio esempio preferito, lo strumento AI ha preso un articolo di esempio e me lo ha riassunto quando gliel'ho chiesto. Ritengo che questo sia un potente strumento di ricerca, soprattutto se stai cercando informazioni su una cosa specifica e non vuoi sfogliare tu stesso il pezzo per vedere se ha ciò di cui hai bisogno. Ora, in teoria, puoi semplicemente chiedere.
In tutte le demo, la capacità di Copilot Vision di capirmi è stata davvero impressionante; mi capiva indipendentemente dalla velocità con cui parlavo o se borbottavo, il che è stato un vantaggio importante perché ha reso l'esperienza fluida e intuitiva. Tuttavia, quando è arrivato il momento di iniziare a usarlo sui miei siti web, sono rimasto leggermente deluso mentre esploravo le applicazioni nella vita reale.
Le limitazioni
Al momento, Copilot Vision può accedere a un numero limitato di siti, tra cui Wikipedia, Tripadvisor, Amazon, Target, OpenTable, Wayfair, Food & Wine, Williams Sonoma e Geoguessr.
La maggior parte di questi sono siti Web di acquisti e la mia esperienza è che non c'è molta assistenza significativa che può accadere quando si effettuano acquisti online. I modi in cui è stato in grado di aiutarmi includono la navigazione nei siti di shopping, guidandomi verso sezioni specifiche, come le offerte, e capendo su quali schede fare clic e in quali sezioni andare.
Ad esempio, su Amazon, quando ho chiesto se potevo aiutare mia madre a trovare qualcosa da regalare per Natale, mi ha suggerito su quali schede del sito avrei dovuto fare clic per trovare gli articoli che le avrebbero interessato. La sezione Vision non è stata particolarmente utile perché potevo vedere personalmente le schede del sito. Poi mi ha offerto suggerimenti di prodotti generici, come un libro o un maglione.
Quando ho fatto clic su una scheda casuale, le ho chiesto di darmi un feedback su quale sarebbe stato il miglior regalo per lei tra le opzioni mostrate. Ha scelto il primo elemento sullo schermo, che in questo caso era un tablet Amazon Fire HD, elencando i suoi casi d'uso ovvi e principali - ancora una volta, non molto utili.
Sui tre siti di contenuti disponibili – Wikipedia, Tripadvisor e Food & Wine – Copilot Vision si è mostrato più promettente perché è stato in grado di riassumere i contenuti degli articoli, il che sembra un importante vantaggio in termini di produttività per lavoratori, studenti e altri.
Su Food & Wine, che ha una home page più tradizionale con visualizzati gli articoli più di tendenza, l'intelligenza artificiale è stata utile anche nel fornire una carrellata di ciò che stavo guardando, spiegando brevemente la notizia principale e altri articoli in primo piano.
Tuttavia, non utilizzo Wikipedia per le mie ricerche a causa delle voci di terze parti e gli altri due siti sono molto di nicchia nel loro focus, quindi non sono sicuro di quanto sarà utile Copilot Vision a meno che tu non sia già su uno di questi siti.
Gli ultimi due servono casi d'uso più unici: OpenTable e GeoGuessr. Su OpenTable, un sito utilizzato per cercare ristoranti e prenotare prenotazioni, non è stato molto utile perché, ancora una volta, può solo aiutarti con ciò che stai guardando. Ad esempio, se quella sera chiedi consigli su un ristorante messicano, ti dirà semplicemente cosa è già visibile.
Esplorare GeoGuessr è il luogo in cui Copilot Vision è stato più utile, agendo come un assistente che conosceva tutte le risposte. Come avere un partner molto informato nella tua squadra, l'intelligenza artificiale mi ha dato alcuni suggerimenti utili: il che, in un certo senso, è un imbroglio.
Preoccupazioni per la sicurezza
Naturalmente, avere un modello AI che guarda il tuo schermo comporta preoccupazioni riguardo al fatto che guardi i tuoi dati. Per risolvere questi problemi, Microsoft dispone di una esauriente sezione di domande e risposte che risponde alle domande più scottanti delle persone.
Per cominciare, l'azienda rassicura gli utenti sul fatto che Copilot Vision visualizza la loro finestra Edge solo in una sessione Vision attiva, designata da un riquadro del browser con una tonalità che indica che sono in una sessione attiva. Questo è il principale elemento di differenziazione da Recall, una funzionalità che scatta istantanee dello schermo di un utente in background in ogni momento quando gli utenti su PC Copilot+ effettuano l'attivazione e ha subito molte controversie.
Secondo l'azienda, le risposte di Copilot vengono registrate solo per monitorare le interazioni non sicure, ma gli input degli utenti, inclusi testo, immagini e contesti, non vengono mai archiviati. Inoltre, i dati immessi dall'utente vengono cancellati al termine della sessione.
Ne vale la pena?
Al momento, acquistare Copilot Pro solo per Copilot Vision non varrebbe la pena, soprattutto perché l'accesso non è garantito. Tuttavia, con l'abbonamento da $20 al mese, gli utenti ottengono anche l'accesso ad altri vantaggi, come l'accesso prioritario ai modelli più recenti e Copilot in app Microsoft 365 selezionate, tra cui Word, Excel, PowerPoint, OneNote e Outlook. Questo lo rende un bonus divertente con cui armeggiare se sei già un utente esperto di Copilot e potresti beneficiare di questi altri vantaggi.