Il chatbot AI on-device di NVIDIA ora supporta Google Gemma e ChatGLM3
È arrivato il terzo aggiornamento per l'app ChatRTX di NVIDIA. Aggiunge nuove funzionalità di riconoscimento delle immagini, funzionalità di input vocale e una selezione ampliata di LLM open source.
NVIDIA ChatRTX, precedentemente chiamato "Chat with RTX", è un chatbot AI personalizzabile che può essere eseguito localmente su PC Windows. Funziona come una sorta di assistente personale, rispondendo a domande su documenti, note e altri file sul tuo computer senza alcuna interazione con il cloud. Può anche riassumere i video di YouTube, che possono essere utili quando desideri ottenere una ricetta o seguire un tutorial senza ascoltare qualcuno divagare per 15 minuti. (Tuttavia, la scansione di YouTube non è più disponibile dalla patch di sicurezza 0.2.)
Una delle cose interessanti di ChatRTX è la sua capacità di eseguire una varietà di LLM. ChatRTX è stato lanciato con il supporto per Mistral e Llama 2, sebbene ora supporti Google Gemma (un ramo leggero di Gemini) e ChatGLM3 (un LLM inglese e cinese basato sul framework GLM). Ciascuno di questi LLM è adatto a determinati compiti, da qui la necessità di varietà.
La nuova versione di ChatRTX vanta anche l'integrazione di Whisper e Open AI CLIP. Mentre Whisper aggiunge il riconoscimento vocale basato sull'intelligenza artificiale per l'input vocale, CLIP migliora le capacità di riconoscimento delle immagini di ChatRTX. Un fotografo può utilizzare ChatRTX, ad esempio, per trovare e organizzare una serie di immagini senza etichetta.
Per essere chiari, ChatRTX è ancora considerata una "demo tecnologica". È un esempio di ciò che gli sviluppatori possono creare utilizzando il progetto di riferimento open source TensorRT-LLM RAG ed è qualcosa che può aiutare l'utente medio di computer ad acquisire maggiore familiarità con i LLM.
E dovrei notare che nessuno di questi LLM compatibili con ChatRTX richiede effettivamente ChatRTX. Il vantaggio di ChatRTX è che non richiede alcuna competenza e ti consente di addestrare un chatbot locale personalizzato senza troppi sforzi. Anche se spero che ChatRTX diventi un prodotto reale, non necessario farlo, poiché ispirerà gli sviluppatori a creare applicazioni IA ancora migliori.
Puoi installare ChatRTXtoday gratuitamente dal sito Web NVIDIA. Tuttavia, ChatRTX richiede una GPU RTX serie 30 o 40 con almeno 8 GB di VRAM (sì, alcuni laptop soddisfano queste specifiche). Avrai anche bisogno di abbastanza pazienza per attendere un download da 30 GB: ChatRTX è un'applicazione relativamente grande.
Fonte: NVIDIA