Anthropic segnala il potenziale dell'intelligenza artificiale di "automatizzare sofisticati attacchi informatici distruttivi"
Il creatore di Claude LLM rivede le sue linee guida sulla sicurezza per gestire i rischi crescenti.
Anthropic, produttore della famiglia Claude di modelli linguistici di grandi dimensioni, questa settimana ha aggiornato la sua politica per i controlli di sicurezza sul suo software per riflettere ciò che, a suo dire, è il potenziale per gli attori malintenzionati di sfruttare i modelli di intelligenza artificiale per automatizzare gli attacchi informatici.
Il documento PDF, che descrive in dettaglio la “politica di dimensionamento responsabile” dell’azienda, delinea diverse modifiche procedurali che, a suo avviso, sono necessarie per monitorare i rischi attuali di uso improprio dei modelli di intelligenza artificiale. Ciò include diversi livelli di rischio crescente, noti come AI Safety Level Standards (ASL), definiti come “protezioni tecniche e operative”.
Nell’ambito dei “test di routine” dell’azienda sui modelli di intelligenza artificiale per la sicurezza - noti come “valutazione delle capacità” - Anthropic riferisce di aver scoperto una capacità che “richiede indagini significative e potrebbe richiedere tutele più forti”.
Tale capacità è descritta come una minaccia all'interno delle operazioni informatiche: "La capacità di migliorare o automatizzare in modo significativo attacchi informatici distruttivi sofisticati, inclusi ma non limitati alla scoperta di nuove catene di exploit zero-day, allo sviluppo di malware complessi o all'orchestrazione di reti estese difficili da rilevare intrusioni."
Il rapporto descrive le misure che saranno intraprese per esaminare la questione su base continuativa:
"Ciò comporterà il coinvolgimento di esperti in operazioni informatiche per valutare il potenziale dei modelli di frontiera sia per migliorare che per mitigare le minacce informatiche, e per considerare l'implementazione di controlli di accesso a più livelli o implementazioni graduali per modelli con capacità informatiche avanzate. Condurremo operazioni preliminari o test post-implementazione, comprese valutazioni specializzate Documenteremo tutti i risultati salienti insieme ai nostri rapporti sulle capacità."
Attualmente, tutti i modelli di intelligenza artificiale di Anthropic, si afferma, devono soddisfare i requisiti di “livello 2” dell’ASL. Questo livello "richiede un sistema di sicurezza che possa probabilmente contrastare la maggior parte degli aggressori opportunisti e includa revisioni della sicurezza di fornitori e fornitori, misure di sicurezza fisica e l'uso di principi secure-by-design", afferma il rapporto.
Le politiche aggiornate possono essere viste come parte di uno sforzo sia di Anthropic che di OpenAI per promettere volontariamente di limitare l’intelligenza artificiale nel contesto del dibattito in corso su cosa dovrebbe o non dovrebbe essere fatto per regolamentare le tecnologie di intelligenza artificiale. Ad agosto, la società e OpenAI hanno raggiunto accordi con l'Istituto statunitense per la sicurezza dell'intelligenza artificiale presso il National Institute of Standards and Technology (NIST) del Dipartimento del commercio degli Stati Uniti per collaborare alla ricerca, ai test e alla valutazione dell'intelligenza artificiale.
L’idea che l’intelligenza artificiale automatizzi gli attacchi informatici circola già da tempo. Il fornitore di firewall Check Point Software Technologies ha avvertito l'anno scorso che attori statali russi stavano cercando di compromettere il ChatGPT di OpenAI per automatizzare gli attacchi di phishing.
CrowdStrike, fornitore di software per la sicurezza endpoint, quest'estate ha riferito che l'intelligenza artificiale generativa è vulnerabile a una vasta gamma di suggerimenti appositamente predisposti che possono rompere i guardrail dei programmi.