L'intelligenza artificiale di Meta's Llama 3.2 può essere eseguita localmente e comprendere le immagini
Meta ha appena rilasciato la prossima generazione dei suoi LLM gratuiti e open source. I nuovi modelli Llama 3.2 possono essere eseguiti localmente (anche su dispositivi mobili) e ora hanno acquisito capacità di elaborazione delle immagini. Gli LLM multimodali supportati dalla visione che siano anche open source e gratuiti sono ancora rari.
Il Llama 3.2 è disponibile in due modelli di peso medio e due leggeri. I LLM 90B e 11B possono elaborare immagini come foto, documenti, diagrammi e grafici. “Ad esempio, una persona potrebbe porre una domanda su quale mese dell’anno precedente la sua piccola impresa ha registrato le vendite migliori e Llama 3.2 può quindi ragionare sulla base di un grafico disponibile e fornire rapidamente la risposta. In un altro esempio, il modello potrebbe ragionare con una mappa e aiutare a rispondere a domande come quando un’escursione potrebbe diventare più ripida o la distanza di un particolare sentiero segnato sulla mappa”, ha spiegato Meta la nuova funzionalità.
Puoi anche chiedere a questi modelli di descrivere un'immagine in dettaglio o creare storie o didascalie basate sulla descrizione. Le prestazioni di questi due modelli sono paragonabili a ChatGPT 4o Mini e Claude 3 Haiku.
I modelli più leggeri 1B e 3B Llama 3.2 possono essere eseguiti localmente su alcuni dispositivi edge (come smartphone e PC). Meta ha collaborato con Qualcomm per eseguire i modelli Llama 3.2 localmente sui chip della serie Snapdragon 8 Gen 3 e Snapdragon X. Troverai queste piattaforme rispettivamente sui telefoni Android premium e sulla nuova generazione di PC Copilot+. Questi due modelli non dispongono del riconoscimento delle immagini, ma possono gestire fino a 128.000 token, consentendo loro di elaborare documenti lunghi e mantenere le conversazioni più a lungo senza perdere il contesto.
L'esecuzione di questi modelli sul dispositivo è migliore per la privacy e le prestazioni. I tuoi dati non vengono mai inviati al cloud, quindi un'app che utilizza questo modello è più privata per impostazione predefinita. Il ritardo è minimo perché l’elaborazione non coinvolge Internet. Meta afferma che le risposte sul dispositivo “sembrano istantanee. "
I modelli Llama 3.2 sono disponibili per il download su llama.com e Hugging Face e puoi provarli su un computer desktop tramite LM Studio (basta cercare "Llama-3.2" nella scheda Scopri).
Fonte: Meta