La FTC afferma che la società di intelligenza artificiale Evolv ha "falsamente pubblicizzato" i suoi scanner di sicurezza

Gli scanner di Evolv non funzionano così bene come hanno fatto credere le scuole. Ecco cosa significa per la sicurezza dei bambini.

Le aziende produttrici di intelligenza artificiale (AI) non sono estranee all’abbellimento delle capacità dei propri prodotti e, quando si tratta di sicurezza pubblica, le conseguenze possono essere mortali.

Evolv Technologies ha affermato che i suoi scanner di sicurezza basati sull’intelligenza artificiale migliorerebbero la sicurezza pubblica rilevando armi in una varietà di luoghi, comprese le scuole. Ma la Federal Trade Commission (FTC) ha riscontrato il contrario.

La settimana scorsa, la FTC ha proposto un accordo transattivo con Evolv Technologies su come la società ha esagerato con la capacità del suo sistema di sicurezza basato sull'intelligenza artificiale di rilevare armi e "ignorare oggetti personali innocui", specialmente in ambito scolastico. I sistemi touch-free di Evolv scansionano le persone mentre entrano in uno spazio senza richiedere la ricerca manuale di borse o tasche.

In un post su X, la presidente della FTC Lina Khan ha affermato che Evolv ha "falsamente pubblicizzato" i suoi sistemi di rilevamento delle armi basati sull'intelligenza artificiale presso i distretti scolastici che hanno pagato "milioni" alla società per utilizzare la tecnologia nelle scuole. Ha notato che gli scanner attivano allarmi per oggetti innocui come bottiglie d'acqua e raccoglitori senza riuscire a identificare le armi.

1. Evolv falsely hyped its AI-powered security screening systems to school districts that then paid it millions of dollars.
In reality, Evolv's scanners sometimes failed to detect weapons in schools while setting off alarms for binders and water bottles. pic.twitter.com/JFonOYEoyA

— Lina Khan (@linakhanFTC) November 26, 2024

Secondo The Intercept, nel giugno 2022, all'ex amministratore delegato di Evolv Peter George è stato chiesto in una conferenza degli investitori "se la società avrebbe fermato la tragica sparatoria nella scuola di Uvalde, in Texas, dove sono stati uccisi 19 studenti e due insegnanti".

George rispose: "Quando qualcuno esamina il nostro sistema e ha un'arma nascosta o un'arma da trasporto aperta, la troveremo, punto."

Nonostante la dichiarazione di Georges, secondo Intercept, dozzine di distretti scolastici che hanno speso milioni nella tecnologia di rilevamento delle armi hanno riscontrato casi in cui i sistemi Evolvs non hanno rilevato armi, con conseguente controllo legale e normativo. Nel 2023, cinque studi legali hanno annunciato indagini sulle tecnologie Evolv per possibili violazioni della legge sui titoli, sostenendo che "Evolv ha ingannato gli investitori sulle capacità dei suoi rilevatori di armi".

Inoltre, gli azionisti di Evolv hanno intentato un'azione collettiva contro la società, sostenendo che le affermazioni di marketing della società sopravvalutavano l'efficacia della tecnologia.

I problemi non si fermano qui. Nonostante questi disordini legali, normativi e interni, il sindaco di New York Eric Adams ha lanciato un programma pilota di tre mesi che avrebbe implementato gli scanner AI nelle metropolitane di New York. Gli stessi scanner erano stati utilizzati in precedenza nel Jacobi Medical Center, dove secondo quanto riferito avrebbero innescato un numero enorme di falsi positivi, secondo il punto di informazione con sede a New York Hell Gate.

È normale che i sistemi di intelligenza artificiale migliorino nel tempo, poiché i modelli possono diventare più accurati quanto più dati accumulano. Per Evolv non è stato così. Con il progredire del programma pilota, gli scanner dell'intelligenza artificiale "non sono diventati più accurati: non c'è stato un solo mese in cui il rapporto allarmi/visitatori sia sceso al di sotto del 25%", ha riferito Hell Gate.

Ulteriori rapporti hanno rilevato che gli scanner avevano "un tasso di falsi positivi del 95%" e che solo lo 0,45% degli allarmi veniva attivato da persone che portavano armi e che non facevano parte delle forze dell'ordine.

Cosa significa per la sicurezza scolastica

Mercoledì, Evolv Technologies ha raggiunto un accordo con la FTC per risolvere l'inchiesta sulle sue precedenti affermazioni di marketing. Secondo un post sul blog della FTC, l'ordine di transazione proposto impedirebbe a Evolv di "fare affermazioni non supportate sulla capacità dei suoi prodotti di rilevare armi utilizzando l'intelligenza artificiale". Richiederebbe inoltre a Evolv di "notificare ad alcuni clienti delle scuole K-12 che possono scegliere di annullare i contratti firmati tra il 1 aprile 2022 e il 30 giugno 2023", che possono essere pluriennali.

Samuel Levine, direttore dell'Ufficio per la protezione dei consumatori, afferma nel blog che "La FTC è stata chiara sul fatto che le affermazioni sulla tecnologia, compresa l'intelligenza artificiale, devono essere supportate, e ciò è particolarmente importante quando tali affermazioni riguardano la sicurezza dei bambini."

Mike Ellenbogen, presidente ad interim e CEO di Evolv Technology, ha dichiarato nel comunicato stampa della società che "l'indagine della FTC riguardava il linguaggio di marketing del passato e non la capacità del nostro sistema di aggiungere valore alle operazioni di sicurezza". L'azienda ha inoltre sottolineato "che l'agenzia non ha messo in discussione l'efficacia fondamentale della tecnologia dell'azienda né ha richiesto alcun aiuto economico".

Gli accordi proposti vietano inoltre a Evolv di fare false affermazioni o false dichiarazioni su:

• "La capacità dei suoi prodotti di rilevare armi, ignorare oggetti personali innocui e ignorare oggetti personali innocui senza richiedere ai visitatori di rimuovere tali oggetti dalle tasche o dalle borse"
• "La precisione dei suoi prodotti nel rilevamento di armi e tassi di falsi allarmi, anche rispetto all'uso dei tradizionali metal detector"
• "La velocità con cui i visitatori possono essere controllati rispetto all'uso dei metal detector"
• "Costi della manodopera, inclusi confronti con l'uso di metal detector; test o risultati di qualsiasi test; e qualsiasi aspetto materiale delle sue prestazioni, compreso l'uso di algoritmi, intelligenza artificiale o altri sistemi o strumenti automatizzati."

La FTC ha notato in passato che i prodotti di intelligenza artificiale possono promettersi eccessivamente come soluzioni a problemi sistemici, il che è una conseguenza dell’hype sull’intelligenza artificiale. Ciò può essere particolarmente rischioso per la sicurezza pubblica se più città, istituzioni e scuole si affidano a tecnologie come gli scanner di Evolv come sistema di sicurezza.