Grazie ai PC AI, le specifiche dei computer su tutta la linea sono destinate a salire

Punti chiave

• I PC AI richiedono memoria e spazio di archiviazione significativi per l'elaborazione locale.
• Nuovi computer con NPU specializzate sono necessari per funzionalità di intelligenza artificiale come Copilot di Microsoft.
• 16 GB di RAM sono il minimo per i PC AI, con 32 GB consigliati per coloro che hanno a cuore le funzionalità AI.

L'era del "PC AI" è alle porte e presto avrai la possibilità di eseguire alcune funzionalità AI localmente senza una connessione Internet anche su sistemi relativamente modesti. Tuttavia, ciò di cui potresti non renderti conto è che, nonostante dispongano di acceleratori IA, questi computer avranno comunque bisogno di un sacco di memoria e spazio di archiviazione solo per offrire funzionalità IA locali.

I PC AI hanno la potenza per l'elaborazione locale

La funzionalità Copilot AI di Microsoft è uno dei motivi principali per cui sta arrivando sul mercato una nuova generazione di computer con NPU (Neural Processing Unit) specializzate. Questo è uno dei motivi per cui i nuovi dispositivi Surface Pro sono dotati di processori ARM Snapdragon solitamente presenti nei telefoni. Al momento, il requisito minimo per un PC Copilot AI è una NPU con 40 TOPS (trilioni di operazioni al secondo) ed è ciò che questi nuovi chip hanno racchiuso al loro interno.

Ci sono molti motivi per desiderare funzionalità di intelligenza artificiale locale. È veloce, non sei in competizione per le risorse con altri utenti e non devi pagare oltre il costo dell'hardware. Dare al tuo laptop l'intelligenza di qualcosa sullo stesso continuum di ChatGPT e dei suoi contemporanei è decisamente emozionante!

Anche i LLM “piccoli” sono enormi

Il fatto è che questi "modelli" di intelligenza artificiale sono piuttosto grandi. I LLM (Large Language Models) più piccoli ed efficienti potrebbero richiedere 1-3 GB di memoria, pur non essendo poi così intelligenti. Man mano che il modello acquisisce parametri e diventa più capace, ha bisogno di più spazio. Gli LLM super intelligenti a cui accedi tramite il Web potrebbero variare da centinaia di Gigabyte di RAM in termini di dimensioni del modello. Con centinaia di miliardi, o anche più di un trilione di parametri in alcuni casi, questi modelli di intelligenza artificiale non sono adatti a piccoli laptop scadenti!

Poi abbiamo LLM abbastanza piccoli da poter essere eseguiti su uno smartphone, come phi-3-mini che ha un clock di 2,4 GB. Questo è più in linea con ciò che verrà effettivamente eseguito su questi laptop AI, anche se probabilmente non così anemico!

I modelli devono vivere nella RAM

Anche se avere un modello AI che occupa pochi GB di spazio potrebbe non sembrare un grosso problema, devi capire che l'intero modello deve trovarsi nella RAM affinché la tecnologia funzioni con buone prestazioni. Queste NPU sono processori paralleli specializzati, che elaborano i numeri su queste reti neurali virtuali. con miliardi di "parametri" contemporaneamente.

Se il modello non è nella RAM, la NPU non può essere alimentata abbastanza velocemente da fornire risultati abbastanza veloci. avrebbe un impatto sulla velocità con cui un LLM risponde o su funzioni come la traduzione in tempo reale o la generazione di immagini. Quindi, se desideri che le funzionalità AI siano disponibili con la semplice pressione di un pulsante o semplicemente parlando al tuo computer, il modello deve essenzialmente riservare tutta la RAM di cui ha bisogno.

A dire il vero, questi nuovi PC sono tutti dotati di SSD ultraveloci in grado di scambiare rapidamente i dati dentro e fuori la RAM, ma a parte l'ulteriore usura che comporta il tuo SSD, non è ancora abbastanza veloce perché tutto funzioni senza intoppi. e non dimenticare che vuoi comunque eseguire tutte le altre app contemporaneamente! Se il tuo PC dovesse scaricare il browser e altre app dalla RAM al disco ogni volta che desideri che l'intelligenza artificiale faccia qualcosa, non sarebbe una bella esperienza.

16GB è il minimo assoluto

Mentre 8 GB di RAM vanno ancora perfettamente bene per un moderno desktop o laptop da ufficio utilizzato per la produttività generale e il consumo multimediale, i computer Windows con funzionalità di intelligenza artificiale semplicemente non riuscirebbero a cavarsela con quel poco spazio. Ecco perché Microsoft ha reso 16 GB di RAM il minimo assoluto per i PC Copilot.

Anche se si tratta di una quantità salutare per un normale PC non dotato di intelligenza artificiale, ho la sensazione che per i PC che eseguono continuamente assistenti IA locali in background, sarà più simile a un PC da 8 GB più AI, a meno che non disabiliti la parte AI del equazione.

Alcuni PC AI non avranno RAM aggiornabile

Se il tuo nuovo PC Windows AI utilizza un sistema su chip integrato o ha la RAM saldata in modo permanente, come nel caso di molti laptop sottili e leggeri, rimarrai bloccato con la quantità di RAM fornita dal sistema. con. Ciò significa che devi ottenere la quantità di RAM di cui hai bisogno fin dall'inizio, altrimenti finirai per aver bisogno di un computer completamente nuovo se si scopre che hai sbagliato i conti.

Qualche tempo fa, ho valutato se 32 GB di RAM non fossero la quantità a cui puntare e la mia conclusione è stata che questa quantità di memoria era ancora eccessiva per l'utente medio. Tuttavia, con in mente le future dimensioni dei modelli di intelligenza artificiale, penso che 32 GB dovrebbero essere ciò a cui deve puntare chiunque abbia a cuore queste funzionalità di intelligenza artificiale.

Se ti interessa l'intelligenza artificiale, ottieni più memoria

Che tu sia interessato alle funzionalità dell'intelligenza artificiale locale è, ovviamente, ciò che conta davvero qui. In caso contrario, è fantastico che questi PC Copilot spingano la RAM minima a 16 GB. Basta disabilitare o ignorare la parte AI dell'equazione e starai bene. In effetti, a meno che tu non abbia qualche valido motivo alternativo, salta completamente questi PC AI e mantieni un'opzione più tradizionale.

Se, d'altra parte, sei entusiasta delle funzionalità di intelligenza artificiale locale e vedi molti modi in cui potresti utilizzare questi strumenti in futuro, non accontentarti del requisito minimo indispensabile a meno che tu non abbia la possibilità di aggiungere più RAM in un secondo momento.