Amazon, basta dire no: l'orrore incombente della replica vocale AI
Se un'intelligenza artificiale come Alexa è davvero in grado di convertire meno di un minuto di voce registrata in un parlato in tempo reale, si apre la porta al gaslighting distopico a un livello completamente nuovo. È spaventoso, inquietante e inquietante.
Vogliamo davvero mettere il potere di simulare perfettamente una voce nelle mani di stalker e abusatori?
La scorsa settimana, abbiamo pubblicato un articolo intitolato "Alexa di Amazon legge una storia con la voce della nonna defunta di un bambino". In esso, Stephanie Condon di ZDNet ha discusso una presentazione di Amazon alla sua conferenza re:MARS (la conferenza annuale di Amazon su argomenti come l'apprendimento automatico, l'automazione, la robotica e lo spazio).
Nella presentazione, Rohit Prasad, Senior VP di Alexa AI di Amazon, ha mostrato una clip di un ragazzo che chiede a un dispositivo Echo: "Alexa, la nonna può finire di leggermi 'Il mago di Oz'?" Il video mostrava poi l'Echo che leggeva il libro usando quella che Prasad ha detto essere la voce della nonna morta del bambino.
Arresto brusco. I peli sulla nuca si sono appena sollevati? Perché non è affatto inquietante. Niente affatto.
Prasad, tuttavia, lo ha definito benefico, affermando che "gli attributi umani dell'empatia e dell'affetto sono fondamentali per costruire la fiducia. Sono diventati ancora più importanti in questi tempi di pandemia in corso, quando molti di noi hanno perso qualcuno che amavano. Anche se l'intelligenza artificiale non può eliminare il dolore della perdita, può sicuramente far durare i loro ricordi".
Hmm. Va bene. Quindi smontiamo questo, che ne dite?
Sento gente morta
Esiste un'esperienza sensoriale psicologica descritta clinicamente come SED, che sta per "esperienze sensoriali e quasi sensoriali del defunto". Questo è un termine clinico più moderno per ciò che veniva descritto come allucinazioni.
Secondo uno studio clinico del novembre 2020, Esperienze sensoriali e quasi sensoriali del defunto in lutto: una revisione interdisciplinare e integrativa, le esperienze SED non sono necessariamente un disturbo psicologico. Invece, tra il 47% e l'82% delle persone che hanno vissuto eventi della vita come la morte di una persona cara hanno sperimentato una sorta di SED.
Lo studio che sto citando è interessante in particolare perché è sia integrativo che interdisciplinare, il che significa che aggrega i risultati di altri studi in una varietà di aree di ricerca. In quanto tale, è un buon riassunto della percezione clinica generale della SED.
Secondo lo studio, le esperienze SED attraversano i confini e sono vissute da tutte le fasce d'età, membri di molte religioni, attraverso tutti i tipi di perdita di relazione e persino circostanze di morte.
Ma se un'esperienza SED è considerata confortante o disturbante dipende sia dall'individuo che dal suo sistema di credenze. La SED si manifesta anche in tutti i modi, dall'udire i passi, alle esperienze di presenza, agli avvistamenti. Non deve essere sempre la riproduzione della voce.
Nel complesso, il rapporto si ferma prima di esprimere un giudizio clinico sul valore clinico se le esperienze SED siano psicologicamente benefiche o dannose, affermando che sono necessari ulteriori studi.
Ma - tornando al tentativo di Amazon di imbottigliare la voce morta della nonna in una lattina - non è assolutamente chiaro se fornire a un bambino la voce di un parente perduto sarà confortante, o se dal punto di vista dello sviluppo sarà un problema tale da fornire un impiego continuativo ai terapisti per gli anni a venire.
È strano che Amazon abbia scelto di mostrare la replica della voce di un parente defunto, piuttosto che, ad esempio, di una nonna viva e sana che potrebbe registrare la sua voce per il suo amato nipote. Ma ehi, se i ricercatori di Amazon volessero puntare sul macabro, chi siamo noi per giudicare?
Questo ci porta alla discussione sulla replica vocale in generale. Con alcune applicazioni costruttive limitate, non sono sicuro che rilasciare la tecnologia AI di replicazione vocale sia una buona idea. Amazon dice che possono prendere un breve campione e costruire un intero dialogo da quel breve campione. C'è qualcosa in tutto questo che sembra terribilmente, orribilmente sbagliato.
Cosa potrebbe mai andare storto?
Sembra quasi come descriveresti un superpotere in uno show come The Umbrella Academy: dopo aver sentito meno di un minuto della voce di una persona, qualcuno è in grado di dire qualsiasi cosa e farla sembrare esattamente come se quella persona fosse stata quella a dirlo.
Come potrebbe non essere una forza per il bene? Oh, ragazzo. Allaccia le cinture.
Non stiamo parlando di qualcosa di inquietante per sbaglio, come quando Alexa ha iniziato improvvisamente a urlare o a scoppiare in una risata malvagia. Le cose strane accadono per caso quando si innova in una nuova area. Questi comportamenti, una volta scoperti, vengono risolti.
No, quello di cui stiamo parlando è cosa potrebbe succedere se i malintenzionati mettessero le mani su questa tecnologia e decidessero di usarla a scopo di lucro... o peggio.
Il Dizionario di Psicologia dell'American Psychological Association definisce il "gaslighting" come:
Manipolare un'altra persona a dubitare delle sue percezioni, esperienze o comprensione degli eventi. Il termine una volta si riferiva a una manipolazione così estrema da indurre la malattia mentale o da giustificare il ricovero della persona in un istituto psichiatrico, ma ora è usato più in generale. Di solito è considerato un colloquialismo, anche se occasionalmente si vede nella letteratura clinica.
Il termine ha avuto origine in un'opera teatrale degli anni '20, che è stata poi prodotta come film del 1944 chiamato "Gaslight".
Purtroppo, il gaslighting è entrato nel regno digitale. Nel 2018, il New York Times ha pubblicato un articolo che descriveva come termostati, serrature e luci digitali stessero diventando strumenti di abuso domestico.
Il Times ha descritto come questi dispositivi siano "usati come mezzo per molestie, monitoraggio, vendetta e controllo". Gli esempi includono l'accensione dei termostati a 100 gradi o l'improvvisa esplosione della musica.
Anche l'American Public University Edge parla di gaslighting digitale. L'articolo spiega: "Questo tipo di attività consente a un aggressore di dimostrare facilmente il controllo sulla vittima, indipendentemente da dove si trovi. È un altro metodo che l'aggressore usa per intaccare lentamente l'autostima di una vittima e aggravare ulteriormente lo stress della vittima".
Ora, facciamo un salto di qualità. Quanto sarebbe facile mandare qualcuno fuori di testa se continuasse a sentire la voce del padre o della madre morti? Se un aggressore riesce a convincere qualcuno che è perseguitato dai fantasmi o che sta perdendo il controllo della sua capacità di discernere la realtà, quell'aggressore potrebbe poi sostituirlo con una realtà soggettiva malevola.
L'intera idea suona come una brutta finzione, ma il gaslighting è così diffuso negli abusi domestici che la National Domestic Violence Hotline ha un'intera pagina dedicata alle tecniche di gaslighting che un partner violento potrebbe utilizzare. Se ti trovi in questa situazione, puoi contattare la hotline al numero 1-800-799-7233.
Facciamo un altro salto di qualità: aggiungi gli stalker al mix. Supponiamo che tu sia a casa e ricevi una chiamata da tua madre. È il numero di tua madre sull'ID chiamante. Rispondi e sembra tua madre. Ha avuto un incidente, o è in qualche tipo di guaio. Ti implora di uscire e prenderla. E tu lo fai. Perché tua madre ha chiamato, e ovviamente sai come suona.
Ma non è tua madre. Esistono metodi per lo spoofing dell'ID chiamante e, con la replica vocale AI, il potenziale di attirare una vittima aumenta considerevolmente. Abbinalo alla possibilità di acquistare informazioni di identificazione personale (PII) con un livello di dettaglio scioccante da molti loschi fornitori online e hai uno scenario spaventoso.
Non liquidare questi scenari come bassa probabilità. Il CDC riferisce che 1 donna su 6 e 1 uomo su 19 sono stati perseguitati nel corso della loro vita. Il Dipartimento di Giustizia degli Stati Uniti riferisce che "l'81% delle donne che sono state perseguitate da un marito attuale o ex o da un partner convivente sono state anche aggredite fisicamente da quel partner e il 31% è stato anche aggredito sessualmente da quel partner". Più di un milione di donne e circa 370.000 uomini vengono perseguitati ogni anno.
Quindi, vogliamo davvero mettere il potere di simulare perfettamente una voce nelle mani di stalker e abusatori?
Anche se non è per stalking o abuso, uno strumento del genere potrebbe anche aiutare i truffatori. Come nell'esempio precedente in cui la mamma ti chiama e ti chiede di andarla a prendere (ma, ovviamente, non è la mamma), immagina uno scenario in cui papà riceve una chiamata al lavoro da sua figlia al college. Ha avuto un'emergenza. Può per favore mandarle qualche migliaio di dollari?
Ovviamente, la qualità della truffa determinerà parte della credibilità della chiamata, ma con abbastanza PII disponibili e un buon script, qualcuno cadrà nella truffa e darà cifre di carte di credito o denaro in bonifico, soprattutto perché la voce era la voce della figlia.
In combinazione con la tecnologia video deepfake, il potenziale per la creazione di video falsi di individui aumenta considerevolmente. Che quel video venga utilizzato da adolescenti per bullizzare un compagno di scuola o da una campagna di disinformazione per convincere la popolazione che un leader non sta tramando nulla di buono, l'idea di deepfake con una rappresentazione vocale accurata è molto preoccupante.
Applicazioni costruttive
Ci sono alcune applicazioni del settore dell'intrattenimento in cui la replica vocale può aggiungere valore. È giusto dire che questo tipo di tecnologia ha anche un potenziale positivo.
Ad esempio, di recente abbiamo visto un giovane Luke Skywalker nelle serie Disney+ del 2021 The Mandalorian e The Book of Boba Fett.
L'immagine di Luke è stata creata digitalmente dall'attore Graham Hamilton, ma Mark Hamill è stato accreditato nell'episodio 6: From the Desert Comes a Stranger, anche se non ha fornito la voce di Luke. Invece, i produttori hanno utilizzato uno strumento chiamato Respeecher, che utilizzava una banca di suoni di vecchie registrazioni di Mark Hamill che sono state messe insieme per l'episodio.
Un'altra possibile applicazione potrebbe essere negli assistenti intelligenti (e nell'assistenza intelligente) per i malati di demenza. Anche se potrebbe essere una linea molto sottile tra il gaslighting di qualcuno con capacità mentali ridotte e l'aiutarlo a farcela, con un'adeguata cura psichiatrica, la ricreazione vocale potrebbe avere applicazioni positive.
Mia moglie ed io ci siamo divertiti molto a viaggiare in tutto il paese con la saggia guida di Yoda. Avevamo aggiunto la sua voce al nostro vecchio GPS. Durante i nostri viaggi, la voce di Yoda ci guidava, turno dopo passo. Era confortante, soprattutto durante quei lunghi tratti aperti e vuoti, avere la voce calmante di Yoda e dichiarazioni come "a sinistra, devi girarti" per tenerci in carreggiata.
Purtroppo, il sistema di posizionamento Yoda non è più disponibile, il che potrebbe (o meno) dire qualcosa sulla fattibilità del mercato per le voci dei personaggi delle celebrità nell'elettronica personale.
Fermarsi a pensare
C'è una frase in Jurassic Park che mi viene in mente in momenti come questa: "I vostri scienziati erano così preoccupati di sapere se potevano o meno, non si sono fermati a pensare se avrebbero dovuto". Nel caso del film, si trattava di ricreare i dinosauri dal DNA dei dinosauri. Ma si applica altrettanto bene all'uso dell'intelligenza artificiale per ricreare le voci delle persone.
Il software di intelligenza artificiale per l'intrattenimento Respeecher ha bisogno di una o due ore di campioni vocali per ricreare una voce. La nuova tecnologia di Amazon richiede meno di un minuto di registrazioni. Questo apre la porta a molte più registrazioni, inclusi i messaggi catturati dalla segreteria telefonica e persino i comandi impartiti ad Alexa e Siri.
Data la prevalenza della vendita di informazioni PII, e persino di informazioni mediche, sul cosiddetto Dark Web, è logico aspettarsi che gli hacker trafficino anche brevi registrazioni vocali di potenziali vittime, soprattutto quando tali registrazioni devono durare solo un minuto o giù di lì.
Ciò significa che se Amazon rilascerà la sua abilità di nonna morta sulla piattaforma Alexa, sarà accessibile a un vasto pubblico. È anche possibile utilizzare Alexa e le abilità di Alexa su dispositivi non Alexa sviluppati in casa, come mostra questo articolo. Ciò significa che anche se questa tecnologia è limitata ad Alexa, ha il potenziale per essere molto problematica.
Devo chiedere: Amazon ha davvero bisogno di rilasciare questa tecnologia in natura come abilità?
Ad essere onesti, Amazon non sarà l'unica azienda a esplorare la replica vocale. Fortune Business Insights prevede che il mercato globale del riconoscimento vocale raggiungerà i 28,3 miliardi di dollari entro il 2026 con un tasso di crescita annuo di quasi il 20%. Con questo tipo di numeri, puoi essere sicuro che ci saranno altri partecipanti in questa arena.
Proteggere gli utenti dal gaslighting digitale, dallo stalking e dalle truffe diventerà progressivamente più difficile e la replica vocale non farà che peggiorare le cose.
Scrivendo sul blog Lawfare, il dottor Irving Lachow, vicedirettore, strategia ed esecuzione informatica presso la MITRE Corporation e visiting fellow presso la Hoover Institution, descrive questa situazione come "PsyOps in casa".
Afferma che, sebbene esistano leggi anti-stalking, "Molte di queste misure non possono essere applicate direttamente al gaslighting informatico perché, a differenza della situazione dello stalkerware, gli aggressori non aggiungono software ai dispositivi intelligenti domestici per molestare le loro vittime. Invece, stanno usando i dispositivi come sono stati concepiti per essere usati".
Dice anche che le sfide legali sono più difficili quando i dirigenti delle aziende che producono queste tecnologie sono in qualche modo intoccabili. Afferma: "Le tecnologie in questione hanno usi legittimi e positivi, e non si può realisticamente prendere di mira i dirigenti delle aziende di dispositivi intelligenti solo perché le loro apparecchiature sono state utilizzate per causare danni a qualcuno".
Chiaramente, questa è una questione che richiede maggiore considerazione. Aziende come Amazon devono valutare attentamente se le funzionalità che stanno aggiungendo fanno più male che bene. Gli esperti di sicurezza informatica devono continuare a rafforzare i dispositivi IoT contro l'hacking esterno. I terapisti e gli psicologi devono aumentare la loro consapevolezza del gaslighting digitale e di altre minacce del 21° secolo.
Ma gli individui possono anche proteggersi. L'analista di intelligence malware Christopher Boyd, scrivendo per conto del blog Malwarebytes, raccomanda di tenere registri dettagliati degli incidenti e di registrare tutti i dati prodotti dai dispositivi. Aggiungiamo che è importante gestire le proprie password, utilizzare password complesse e, se si prevedono problemi, assicurarsi di imparare come bloccare i dispositivi.
Lachow riferisce: "I dispositivi intelligenti sono maturi per lo sfruttamento in scenari di abusi domestici perché spesso una persona, di solito un uomo, controlla la tecnologia dell'informazione (IT) per la casa. Se il responsabile IT si trasferisce ma mantiene l'accesso ai dispositivi intelligenti domestici tramite app mobili o interfacce online, potrebbe controllare l'ambiente domestico".
Tienilo a mente e impara tutto ciò che puoi. Per quanto riguarda i sistemi basati sull'intelligenza artificiale che imparano a replicare le voci dei parenti defunti, devo dire "Basta dire di no". No. No. No-no-no. Baaaad le cose potrebbero succedere.
Sono sicuro che ti vengono in mente molti scenari orribili. Condividili con noi nei commenti qui sotto. Più ci pensiamo e più ne siamo consapevoli, meglio possiamo prepararci ad affrontarlo.