La stravaganza dell'intelligenza artificiale di Apple ha tralasciato 2 progressi chiave: forse la prossima volta?
Alla WWDC abbiamo visto molta "Apple Intelligence": la formazione sul dispositivo è stata una delle omissioni più evidenti.
La presentazione della strategia globale di Apple per l'intelligenza artificiale su Mac, iPhone e iPad lunedì conteneva numerose funzionalità interessanti sotto la rubrica "Apple Intelligence", un intelligente rebranding dell'onnipresente acronimo.
Sabrina Ortiz di ZDNET fornisce i dettagli, che includono molti modi in cui il software Apple può migliorare l'esperienza del dispositivo e anche sfruttare ChatGPT di OpenAI. C'è stato anche un grande interesse per la sicurezza e la privacy nel Private Cloud Compute.
Un'omissione evidente, tuttavia, è la mancanza di quella che viene chiamata formazione "sul dispositivo".
I modelli di intelligenza artificiale (raggruppamenti di reti neurali come GPT-4o e Gemini) vengono sviluppati durante una fase iniziale in laboratorio nota come training. Alla rete neurale vengono forniti numerosi esempi di successo e i suoi risultati vengono ottimizzati fino a produrre risposte ottimali. Tale addestramento diventa la base della risposta alle domande della rete neurale, nota come inferenza.
Anche se Apple non ha rivelato alcun dettaglio tecnico su quale generazione di intelligenza artificiale sta utilizzando, le descrizioni suggeriscono che le funzionalità integrate - quelle su iPhone, iPad e Mac - non includono l’addestramento delle reti neurali, anche se questa è un'area in cui Apple ha offerto ricerche originali.
Invece, ciò che viene offerto sembra essere semplicemente una forma di "generazione aumentata di recupero" o, RAG, un movimento crescente verso l'inferenza delle prestazioni - la creazione di previsioni - attingendo a un database. Apple si riferisce a questo approccio come "Indice semantico", che conosce i dati personali dell'utente.
Non è una cosa da poco: potenziare l’intelligenza artificiale con dati personali integrati è di per sé un bel risultato per l’inferenza “all’edge” piuttosto che nel cloud.
Ma non è la stessa cosa della formazione a bordo. Il lavoro di ricerca più interessante di Apple fino ad oggi (almeno quello che è stato reso pubblico) è stato quello di condurre alcuni corsi di formazione sul dispositivo client stesso.
Cosa puoi fare se alleni la rete neurale sui dati del dispositivo costantemente aggiornati di una persona?
Un semplice esempio è quello di potenziare la categorizzazione delle immagini fornendo alla rete neurale più contesto su cosa c'è nell'immagine. Questo non è "un gatto" nella foto che stai guardando ma il tuo gatto, simile a tanti altri che hai scattato, presentato a te come un album istantaneo del tuo tuo gatto, simile a quello che fa oggi Apple quando riconosce i volti nei ritratti.
Passeggiando per una galleria d'arte, se scatti una foto di un dipinto, il tuo telefono potrebbe ricordare collegamenti tra quell'artista e qualcosa che hai scattato in un museo il mese scorso.
Apple potrebbe riqualificare le reti neurali nel cloud, tramite il Private Cloud Compute, dato che è necessaria molta potenza di calcolo, più di quella posseduta dalla maggior parte dei dispositivi client, per addestrare le reti neurali.
Anche se ZDNET aveva notato all'inizio di quest'anno che il 2024 potrebbe essere l'anno in cui l'intelligenza artificiale impara "nel palmo della tua mano", l'evento di lunedì suggerisce che potrebbero essere necessarie un paio di generazioni di iPhone in più prima che sia possibile l'addestramento sul dispositivo.
C'era un'altra evidente omissione: gli annunci di Apple riguardavano principalmente i dati già presenti sul dispositivo, non lo sfruttamento dei sensori del dispositivo, in particolare le fotocamere, per migliorare il mondo intorno a te.
Apple potrebbe, ad esempio, applicare la Gen AI al modo in cui la fotocamera viene utilizzata come compagno di intelligenza artificiale, ad esempio lasciando che l’assistente aiuti l’utente a scegliere i fotogrammi migliori quando scatta una foto “dal vivo” con multiesposizione. Ancora meglio, "Dimmi cosa c'è che non va in questa composizione" è il tipo di consiglio fotografico per principianti che alcune persone potrebbero desiderare in tempo reale, prima di premere il pulsante di scatto.
Apple ha invece mostrato alcuni modesti miglioramenti dell'intelligenza artificiale per la post-produzione, come correggere una foto già scattata rimuovendo successivamente gli oggetti di sfondo. Non è la stessa cosa di un agente della fotocamera dal vivo che ti aiuta mentre usi la fotocamera.
Sembra probabile che Apple ad un certo punto riuscirà sia alla formazione sul dispositivo che all’applicazione della Gen AI ai sensori. Entrambi gli approcci sfruttano il controllo integrato di hardware e software da parte di Apple.