Potresti presto eseguire attività di intelligenza artificiale direttamente sul tuo smartphone? MediaTek dice di sì

MediaTek sta collaborando con Lllama 2 LLM di Meta per eseguire attività di intelligenza artificiale generativa direttamente sui dispositivi mobili, senza necessità di elaborazione basata su cloud. Ci sono molti vantaggi in questo, ma c’è anche un problema.

L'intelligenza artificiale generativa, una delle tecnologie in più rapida crescita, viene utilizzata da ChatGPT di OpenAI e Google Bard per la chat e da sistemi di generazione di immagini come Stable Diffusion e DALL-E. Tuttavia, presenta alcune limitazioni perché questi strumenti richiedono l’uso di data center basati su cloud con centinaia di GPU per eseguire i processi di elaborazione necessari per ogni query.

Ma un giorno potresti eseguire attività di intelligenza artificiale generativa direttamente sul tuo dispositivo mobile. O la tua auto connessa. Oppure nel tuo soggiorno, camera da letto e cucina con altoparlanti intelligenti come Amazon Echo, Google Home o Apple HomePod.

MediaTek ritiene che questo futuro sia più vicino di quanto pensiamo. Oggi, l'azienda di semiconduttori con sede a Taiwan ha annunciato che sta collaborando con Meta per portare Lllama 2 LLM del colosso sociale, in combinazione con le APU di ultima generazione dell'azienda e la piattaforma di sviluppo software NeuroPilot, per eseguire attività di intelligenza artificiale generativa sui dispositivi senza fare affidamento sul trattamento esterno.

Naturalmente c'è un problema: questo non eliminerà completamente il data center. A causa delle dimensioni dei set di dati LLM (il numero di parametri che contengono) e delle prestazioni richieste dal sistema di storage, è comunque necessario un data center, anche se molto più piccolo.

Ad esempio, il set di dati “piccolo” di Llama 2 è di 7 miliardi di parametri, o circa 13 GB, che è adatto per alcune rudimentali funzioni di intelligenza artificiale generativa. Tuttavia, una versione molto più grande di 72 miliardi di parametri richiede proporzionalmente molto più spazio di archiviazione, anche utilizzando la compressione avanzata dei dati, che è al di fuori delle capacità pratiche degli smartphone odierni. Nel corso dei prossimi anni, gli LLM in fase di sviluppo saranno facilmente da 10 a 100 volte più grandi di Llama 2 o GPT-4, con requisiti di archiviazione di centinaia di gigabyte e superiori.

È difficile per uno smartphone archiviare e avere abbastanza IOPS per le prestazioni del database, ma certamente non per dispositivi cache appositamente progettati con memoria flash veloce e terabyte di RAM. Pertanto, per Llama 2, oggi è possibile ospitare un dispositivo ottimizzato per servire dispositivi mobili in una singola unità rack senza tutto il peso del calcolo. Non è un telefono, ma è comunque piuttosto impressionante!

MediaTek prevede che le applicazioni AI basate su Llama 2 diventino disponibili per gli smartphone alimentati dal SoC di punta di prossima generazione, il cui arrivo sul mercato è previsto entro la fine dell'anno.

Affinché l’intelligenza artificiale generativa sul dispositivo possa accedere a questi set di dati, gli operatori di telefonia mobile dovrebbero fare affidamento su reti edge a bassa latenza: piccoli data center/armadi per apparecchiature con connessioni veloci alle torri 5G. Questi data center risiederebbero direttamente sulla rete dell'operatore, quindi gli LLM in esecuzione sugli smartphone non avrebbero bisogno di passare attraverso molti "salti" di rete prima di accedere ai dati dei parametri.

Oltre a eseguire carichi di lavoro AI sul dispositivo utilizzando processori specializzati come quelli di MediaTek, i LLM specifici del dominio possono essere avvicinati al carico di lavoro dell'applicazione eseguendo in modo ibrido con questi dispositivi di caching all'interno del data center in miniatura, in un "bordo del dispositivo vincolato" scenario.

Quindi, quali sono i vantaggi dell’utilizzo dell’intelligenza artificiale generativa sul dispositivo?

• Latenza ridotta: poiché i dati vengono elaborati sul dispositivo stesso, il tempo di risposta è ridotto in modo significativo, soprattutto se vengono utilizzate metodologie di cache localizzate da parti del set di dati dei parametri a cui si accede di frequente.
• Migliore privacy dei dati: mantenendo i dati sul dispositivo, tali dati (come una conversazione in chat o una formazione inviata dall'utente) non vengono trasmessi attraverso il data center; lo sono solo i dati del modello.
• Migliore efficienza della larghezza di banda: oggi, le attività di intelligenza artificiale generativa richiedono che tutti i dati della conversazione dell'utente vadano avanti e indietro al data center. Con l'elaborazione localizzata, gran parte di ciò si verifica sul dispositivo.
• Maggiore resilienza operativa: con la generazione sul dispositivo, il sistema può continuare a funzionare anche se la rete viene interrotta, in particolare se il dispositivo dispone di una cache dei parametri sufficientemente grande.
• Efficienza energetica: non sono necessarie così tante risorse ad alta intensità di calcolo nel data center o tanta energia per trasmettere i dati dal dispositivo al data center.

Tuttavia, il raggiungimento di questi vantaggi può comportare la suddivisione dei carichi di lavoro e l’utilizzo di altre tecniche di bilanciamento del carico per alleviare i costi di elaborazione dei data center centralizzati e il sovraccarico della rete.

Oltre alla continua necessità di un data center edge con connessione rapida (anche se con requisiti computazionali ed energetici notevolmente ridotti), c'è un altro problema: quanto è potente un LLM che puoi davvero eseguire sull'hardware di oggi? E mentre c'è meno preoccupazione per i dati sul dispositivo che vengono intercettati attraverso una rete, c'è il rischio aggiuntivo per la sicurezza che i dati sensibili vengano penetrati nel dispositivo locale se non sono gestiti correttamente, oltre alla sfida di aggiornare il modello. dati e mantenendo la coerenza dei dati su un gran numero di dispositivi di caching edge distribuiti.

E infine, c’è il costo: chi pagherà il conto per tutti questi mini data center edge? Oggi l'edge networking viene utilizzato dai fornitori di servizi edge (come Equinix), necessario per servizi come Netflix e iTunes di Apple, tradizionalmente non per operatori di rete mobile come AT&T, T-Mobile o Verizon. I fornitori di servizi di intelligenza artificiale generativa come OpenAI/Microsoft, Google e Meta dovrebbero elaborare accordi simili.

Ci sono molte considerazioni da fare sull’IA generativa on-device, ma è chiaro che le aziende tecnologiche ci stanno pensando. Entro cinque anni, il tuo assistente intelligente integrato nel dispositivo potrebbe pensare da solo. Pronto per l'intelligenza artificiale in tasca? Sta arrivando, e molto prima di quanto la maggior parte delle persone si aspettasse.