Una ricerca di Apple rivela che alcune straordinarie tecnologie di intelligenza artificiale potrebbero essere destinate al tuo iPhone
LLM in un lampo. Avatar animati. Siri più intelligente. GPT di Apple. Una nuova ricerca suggerisce un prossimo iPhone completamente trasformato.
Apple sta approfondendo la tecnologia dell’intelligenza artificiale, secondo due documenti di ricerca recentemente pubblicati che mostrano il lavoro dell’azienda. La ricerca mostra che Apple sta lavorando per sviluppare una tecnologia AI on-device, incluso un metodo rivoluzionario per creare avatar animabili e un nuovo modo per eseguire modelli linguistici di grandi dimensioni da un iPhone o iPad.
Chiamata giustamente "LLM in un lampo", la ricerca di Apple sull'esecuzione efficiente di LLM su dispositivi con memoria limitata consente ad applicazioni IA complesse di funzionare senza problemi su iPhone o iPad. Ciò potrebbe anche comportare l’esecuzione di un dispositivo Siri basato sull’intelligenza artificiale generativa che assiste simultaneamente in varie attività, genera testo e presenta una migliore capacità di elaborare il linguaggio naturale.
HUGS sta per Human Gaussian Splats, un metodo per creare avatar completamente animabili da brevi video clip catturati su un iPhone in soli 30 minuti. HUGS è un framework di rendering neurale in grado di allenarsi con pochi secondi di video per creare un avatar dettagliato che gli utenti possono animare come preferiscono.
Cosa significa questo per iPhone e Vision Pro
Ci sono state segnalazioni di Apple che lavora sul proprio chatbot AI, utilizzato internamente e chiamato "Apple GPT". La nuova ricerca mostra che l’azienda sta facendo passi da gigante nella gestione dei LLM sfruttando la memoria flash su dispositivi più piccoli e meno potenti come un iPhone. Ciò potrebbe rendere disponibili sul dispositivo sofisticati strumenti di intelligenza artificiale generativa e potrebbe significare una Siri generativa basata sull’intelligenza artificiale.
Al di là del tanto necessario miglioramento di Siri, avere un’efficiente strategia di inferenza LLM come quella descritta in LLM in a Flash potrebbe portare a strumenti di intelligenza artificiale generativa più accessibili, progressi significativi nella tecnologia mobile e prestazioni migliorate in un’ampia gamma di applicazioni sui dispositivi di uso quotidiano.
Probabilmente il più grande progresso dei due, HUGS è un metodo in grado di creare avatar digitali malleabili da pochi secondi di video monoculare, o 50-100 fotogrammi, per l'esattezza. Questi avatar umani possono essere animati e posizionati su scene diverse, poiché la piattaforma utilizza una rappresentazione districata di esseri umani e scene.
HUGS consente agli utenti di creare avatar di se stessi che possono essere animati e posizionati su una scena. Questo è l'esempio di Apple di tre avatar animati in sincronia.
Secondo Apple, HUGS supera i concorrenti nell'animazione di avatar umani con velocità di rendering 100 volte più veloci rispetto ai metodi precedenti e con un tempo di addestramento significativamente più breve di soli 30 minuti.
La creazione di un avatar sfruttando la fotocamera e la potenza di elaborazione dell'iPhone potrebbe offrire un nuovo livello di personalizzazione e realismo per gli utenti iPhone nelle applicazioni di social media, giochi, istruzione e realtà aumentata (AR).
HUGS potrebbe ridurre seriamente il fattore di creep per la Digital Persona di Apple Vision Pro, presentato durante l'ultima Worldwide Developers' Conference (WWDC) dell'azienda lo scorso giugno. Gli utenti di Vision Pro possono sfruttare la potenza degli HUGS per creare un avatar altamente realistico in grado di muoversi fluidamente con un tempo di rendering di 60 fps.
La velocità di HUGS consentirebbe anche il rendering in tempo reale, che può essere fondamentale per un’esperienza AR fluida e potrebbe migliorare le applicazioni sociali, di gioco e professionali con avatar realistici e controllati dall’utente.
Apple tende a evitare l'uso di parole d'ordine come "AI" per descrivere le caratteristiche del suo prodotto, preferendo invece concentrarsi sull'apprendimento automatico. Tuttavia, questi documenti di ricerca suggeriscono un coinvolgimento più profondo nella nuova tecnologia dell’intelligenza artificiale. Tuttavia, Apple non ha riconosciuto pubblicamente l’implementazione dell’intelligenza artificiale generativa nei suoi prodotti e non ha ancora confermato ufficialmente il suo lavoro con Apple GPT.