Il 2024 potrebbe essere l’anno in cui l’intelligenza artificiale imparerà nel palmo della tua mano

È troppo difficile addestrare un modello linguistico di grandi dimensioni, come GPT-4 di OpenAI, su uno smartphone. Ma il cambiamento potrebbe essere all’orizzonte, grazie a software più intelligenti.

Il mondo dell’intelligenza artificiale (AI) esiste principalmente nelle strutture di cloud computing e raramente tocca lo smartphone. Quando utilizzi uno strumento come ChatGPT per rispondere a una richiesta, il duro lavoro di addestrare il programma, affinché funzioni correttamente, è stato svolto giorni, settimane e mesi prima, dietro le quinte, negli enormi data center AI costruiti da Microsoft e altri.

Tuttavia, il 2024 potrebbe essere l’anno in cui il divario verrà superato e potrebbe essere l’anno in cui l’intelligenza artificiale inizierà a imparare dalle tue tasche. Sono in corso sforzi per rendere possibile l'addestramento di una rete neurale - anche un modello linguistico di grandi dimensioni (LLM) - sul tuo dispositivo personale, con poca o nessuna connessione al cloud.

I vantaggi più evidenti della formazione sul dispositivo includono: evitare il ritardo dovuto alla connessione al cloud; imparare dalle informazioni locali in modo costante e personalizzato; e preservare la privacy che verrebbe violata inviando dati personali a un data center cloud.

L’impatto della formazione sul dispositivo potrebbe essere una trasformazione delle capacità delle reti neurali. L'intelligenza artificiale può essere personalizzata in base alle tue azioni mentre cammini, tocchi, scorri e trascini. L’intelligenza artificiale potrebbe imparare dagli ambienti che attraversi durante la tua routine quotidiana, raccogliendo segnali sul mondo.

Il recente lavoro degli ingegneri Apple suggerisce che l'azienda sta cercando di portare reti neurali più grandi, il tipo "generativo" rappresentato da ChatGPT di OpenAI, da eseguire localmente sull'iPhone.

Più in generale, Google ha introdotto diversi anni fa un approccio AI radicalmente ridotto chiamato TinyML. TinyML può eseguire reti neurali in dispositivi con una potenza minima di un milliwatt, come i sensori intelligenti posizionati sui macchinari.

La sfida più grande per le aziende tecnologiche è fare in modo che questo tipo di reti neurali non solo eseguano previsioni su un telefono, ma imparino anche cose nuove su un telefono - per svolgere formazione a livello locale.

Questo sforzo richiede molta più potenza di elaborazione, molta più memoria e molta più larghezza di banda affinché qualsiasi computer possa addestrare una rete neurale piuttosto che utilizzare la rete neurale finita per fare previsioni.

Sono stati in corso sforzi per conquistare quella montagna di calcolo facendo cose come aggiornare selettivamente solo porzioni dei “pesi” o dei “parametri” della rete neurale. Uno sforzo distintivo è TinyTL del MIT, che utilizza il cosiddetto apprendimento di trasferimento come un modo per perfezionare una rete neurale che è già in gran parte addestrata.

TinyTL finora è stato utilizzato per piccole cose, come il riconoscimento facciale. Ma lo stato dell’arte si sta ora spostando verso la gestione dei LLM dell’intelligenza artificiale generativa, incluso il GPT-4 di OpenAI. Gli LLM hanno centinaia di miliardi di pesi neurali che devono essere conservati in memoria e quindi passati al processore per essere aggiornati man mano che arrivano nuove informazioni. Questa sfida di formazione si svolge su una scala mai tentata prima.

Un rapporto di ricerca di questo mese condotto dallo staff del colosso europeo della produzione di chip STMicroelectronics sostiene che in questi sforzi di formazione non è sufficiente eseguire inferenza su dispositivi mobili: invece, il dispositivo client deve anche addestrare la rete neurale per mantenerla aggiornata.

"Abilitare solo l'inferenza del modello sul dispositivo non è sufficiente", scrivono Danilo Pietro Pau e Fabrizio Maria Aymone. "Le prestazioni dei modelli AI, infatti, peggiorano con il passare del tempo dall'ultimo ciclo di addestramento; fenomeno noto come concept drift", per il quale la soluzione è aggiornare il programma con nuovi dati di addestramento.

Gli autori suggeriscono di ridurre la rete neurale, in modo che sia più semplice addestrare un modello su un dispositivo con vincoli di memoria. Nello specifico, sperimentano la rimozione della cosiddetta "propagazione all'indietro", il metodo matematico negli LLM che è la parte della formazione che richiede più utilizzo di calcolo.

Pau e Aymone hanno scoperto che sostituire la propagazione all'indietro con calcoli più semplici potrebbe ridurre la quantità di memoria sul dispositivo necessaria per i pesi neurali fino al 94%.

Alcuni scienziati sostengono la suddivisione del compito di formazione tra molti dispositivi client, operazione chiamata "apprendimento federato".

Apprendimento federato in azione.

I ricercatori Chu Myaet Thwal e il team della Kyung Hee University questo mese hanno adattato una forma di LLM utilizzata per il riconoscimento delle immagini su un massimo di 50 computer workstation, ciascuno con una singola scheda di gioco GPU Nvidia. Il loro codice richiedeva meno memoria sul dispositivo per essere addestrato rispetto alla versione standard della rete neurale, senza perdere la precisione.

Alcuni esperti, nel frattempo, sostengono che le comunicazioni di rete dovranno essere adattate, in modo che i dispositivi mobili possano comunicare meglio durante l’apprendimento federato.

Gli studiosi dell'Istituto di ingegneria elettrica ed elettronica questo mese hanno ipotizzato una rete di comunicazione che utilizzi l'imminente standard 6G, in cui la maggior parte della formazione LLM viene completata prima in un data center. Quindi, il cloud coordina una serie di dispositivi client che "perfeziona" il LLM con i dati locali.

Tale "messa a punto federata", in cui ciascun dispositivo apprende una parte di un LLM, senza partire da zero, può essere eseguita con una potenza di elaborazione molto inferiore sul dispositivo alimentato a batteria rispetto all'addestramento completo.

Molti approcci mirano a ridurre la memoria e l’elaborazione richieste per ciascun peso neurale. L'approccio definitivo è quello che viene chiamato "reti neurali binarie", dove invece di avere ciascun peso con un valore numerico, i pesi hanno solo uno o zero, il che riduce notevolmente la quantità di spazio di archiviazione richiesto sul dispositivo.

Molte delle preoccupazioni tecniche sopra menzionate sembrano astratte, ma consideriamo alcuni dei casi d'uso dell'addestramento di una rete neurale a livello locale.

Un team della Nanyang Technological University di Singapore questo mese ha utilizzato l’apprendimento sul dispositivo per contrastare le minacce informatiche facendo in modo che ogni singolo dispositivo addestrasse la propria versione locale di un “sistema di rilevamento delle intrusioni” o IDS basato sull’intelligenza artificiale, che è un comune programma di sicurezza informatica.

Invece di far interagire i dispositivi client con un server centrale, il team è riuscito a scaricare una bozza iniziale del codice IDS e quindi a perfezionarlo per le condizioni di sicurezza locali. Non solo tale formazione è più specifica per una minaccia alla sicurezza locale, ma impedisce anche il passaggio di informazioni sensibili sulla sicurezza avanti e indietro sulla rete, dove potrebbero essere intercettate da soggetti malintenzionati.

Si dice che Apple stia mirando a una maggiore funzionalità AI integrata per i dispositivi iOS e ha offerto indizi su ciò che potrebbe essere completato in un contesto mobile.

In un articolo di agosto, gli scienziati Apple hanno descritto un modo per apprendere automaticamente le qualità delle app mobili, chiamato Never-ending UI Learner. Il programma viene eseguito su uno smartphone e preme automaticamente i pulsanti e intraprende altre interazioni per determinare quali tipi di controlli richiede un'interfaccia utente.

L’obiettivo è utilizzare ciascun dispositivo per apprendere automaticamente, anziché fare affidamento su un gruppo di lavoratori umani che trascorrono il loro tempo premendo pulsanti e annotando le funzioni delle app.

L'esperimento è stato condotto in un ambiente controllato dal personale Apple. Se la sperimentazione fosse tentata in natura utilizzando gli iPhone di clienti reali, allora "sarebbe necessario un approccio che tuteli la privacy (ad esempio, formazione sul dispositivo)", scrivono gli autori.

Un altro concetto basato su dispositivi mobili è stato descritto dagli scienziati Apple nel 2022 in un articolo intitolato "Training Large-Vocabulary Neural Language Models by Private Federated Learning for Resource-Constrained Devices".

Il loro obiettivo era addestrare l’intelligenza artificiale al riconoscimento vocale sui dispositivi mobili utilizzando l’approccio di apprendimento federato.

Il dispositivo di ogni persona utilizza campioni di interazioni con un "assistente vocale" (probabilmente Siri) per addestrare la rete neurale. Quindi, i parametri della rete neurale sviluppati da ciascun telefono vengono inviati alla rete, dove vengono aggregati per creare una rete neurale migliorata.

Il risultato principale di tutti questi sforzi di ricerca è che gli scienziati sono al lavoro per trovare modi per comprimere e dividere il lavoro di formazione per renderlo fattibile su dispositivi alimentati a batteria con meno memoria e meno potenza di elaborazione rispetto a workstation e server.

Resta da vedere se questo impegno di ricerca avrà successo nel 2024. Tuttavia, ciò che è già chiaro è che l'addestramento delle reti neurali uscirà dal cloud e, molto probabilmente, finirà nel palmo della tua mano.